kudu
文章平均质量分 79
cclovezbf
这个作者很懒,什么都没留下…
展开
-
kuduwriter-写入kudu提速。
测试系下很简单,启动两个datax任务都是oracle->kudu 这个表,(因为kudu的数据重复插入是不会改变的),如果启动了第二个任务 影响了第一个,说明kudu的插入上限就是8000r/s,测试发现两个任务都事7000r/s 那么问题出在哪里了?这样来获取错误信息。看名字和上面的都有AUTO其实和上面的有相似有不同,相似是也是你apply的时候会立刻返回给你一个response,但是不会立即flush到server,和上面的区别是。--上面的buffer清空了 这个需要被搞的opera也=0了。..原创 2022-08-16 10:27:14 · 1158 阅读 · 4 评论 -
kudu内存分布,及cdh配置
Apache Kudu - Known Issues and LimitationsA new open source Apache Hadoop ecosystem project, Apache Kudu completes Hadoop's storage layer to enable fast analytics on fast datahttps://kudu.apache.org/docs/known_issues.html#_scaleApache Kudu - Apache Kudu原创 2021-12-07 16:44:00 · 2412 阅读 · 5 评论 -
kudu on impala 基本用法。
好久没用kudu了 突然别的项目组开始用kudu,问各种问题,实在招架不住。。。。于是自我学习一波。https://impala.apache.org/docs/build/impala-2.12.pdf1.尽量考虑用kudu自己的api来增删改查,而不是通过impala的jdbc接口去做些事。这个就是说我们可以直接通过kudumaster的地址获取kudusession来dml操作还可以通过impala jdbc的方式连接后直接crud。官网推荐kudu方式。2.d..原创 2021-11-10 17:47:30 · 2022 阅读 · 0 评论 -
kudu ksck 部分表 TS unavailable
一下命令如果涉及认证问题请sudo su kudu 或者kinit kudu@xxx.xxx检查所有kudu表是否正常kudu cluster ksck master.data.com:7051,node02.data.com:7051,node03.data.com:7051发现部分表属于不正常状态。原因。kudu的分区都分布在不同的机器上,比如分区a分布在node1 node2 node2,因为某些原因node2和node3下线了,或者把tablet server下线了。默认k.原创 2021-11-05 17:15:28 · 2581 阅读 · 3 评论 -
kudu官网学习。
工作中用到了kudu。以前随便用用现在没事准备好好学习下。https://kudu.apache.org/docs1.指定分区为什么要指定好分区呢?一般来说习惯将kudu与hbase进行比较。两者区别在哪里?翻译:kudu目前没有办法对已经分好区的tablet在进行切分!!!hbase存储数据实际时region,但是随着数据的不断增大,region还会水平切分,然后根据集群的负载会分布到不同的regionserver里。kudu呢?kudu以hash分区=4为例,kudu会有4个原创 2021-07-05 11:44:45 · 594 阅读 · 2 评论 -
kudu库下所有表迁移,从a库到b库
记录下1. 找到DBS中ods_tcm_data和ods_tcm_data_kd所对应的ID2. 修改TBLS中原来ods_tcm_data的DB_ID为ods_tcm_data_kd的DB_ID//3. 修改TABLE_PARAMS中对应的impala::ods_tcm_data.{table} 为impala::ods_tcm_data_kd.{table}4. 重启Hive Metastore Server背景:ods_tcm_data库里有几张kudu表,现在想要迁移到新建库ods原创 2020-07-15 17:50:46 · 953 阅读 · 0 评论