Clickhouse踩坑记录

背景:我司因presto在大数据量下查询较慢,后综合技术特点及我们的数据特点决定采用Clickhouse替代。实现方案:将Hive数据每天增量同步至Clickhouse。备注:以下将Clickhouse简称ck实现步骤:在ck中创建Hive引擎的表 在ck中创建MergeTree引擎的表 每天将Hive引擎的表增量同步至MergeTree引擎的表踩坑点 一开始在ck创建表后发现hive那边是存储的文本格式的,后来在hive修改为orc格式 ,ck这边没有重新建表,然后就报了上边的
摘要由CSDN通过智能技术生成

背景:我司因presto在大数据量下查询较慢,后综合技术特点及我们的数据特点决定采用Clickhouse替代。

实现方案:将Hive数据每天增量同步至Clickhouse。

备注:以下将Clickhouse简称ck

实现步骤:

  1. 在ck中创建Hive引擎的表
  2. 在ck中创建MergeTree引擎的表
  3. 每天将Hive引擎的表增量同步至MergeTree引擎的表

踩坑点

  1. 一开始在ck创建表后发现hive那边是存储的文本格式的,后来在hive修改为orc格式 ,ck这边没有重新建表,然后就报了上边的错误,删表后重建即可。

    Column 0,   name: app_module,  type: String, parsed text: "<0x03><ASCII NUL><ASCII NUL><ASCII NUL><0x12><0x0F><BACKSPACE><0x11><0x12><TAB><BACKSPACE><ASCII NUL><0x10>▒I<0x18>▒"ERROR: There is no line feed. "P" found instead.It's like your file has more columns than expected.And if your file has the right number of columns, maybe it has an unquoted string value with a comma.: While executing HiveTextRowInputFormat: While executing Hive. (INCORRECT_DATA)
  2. Hive非分区表在ck创建H

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值