大数据-kudu
工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
九师兄
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。也可以单独找我解决问题。
展开
-
【kudu】未解决 Flink 读取 kudu KuduReaderIterator not found it may have expired
1.概述flink读取kudu数据处理出现这个是缓存空间不够吗,这个是通过flink连接kudu读取数据报这个错,建立了16个临时表,再进行关联处理回复原创 2021-12-27 22:56:14 · 578 阅读 · 2 评论 -
Kudu :Service unavailable: Soft memory limit exceeded at xxx% of capacity
1.美图2.背景一个使用kudu api写入程序的时候,报错Kudu :Service unavailable: Soft memory limit exceeded at xxx% of capacity3.原因内存限制问题(Memory Limits):Kudu都有一个硬性和软性的内存限制。硬存储器限制是Kudu进程允许使用的最大数量,由--memory_limit_hard_...原创 2020-02-20 16:48:01 · 1764 阅读 · 0 评论 -
Kudu :主键冲突 status=Already present: key already present
1.美图2.背景2.1 kudu单个主键 CREATE TABLE one_key ( id string, name string, sex string, age string, PRIMARY KEY(id))PARTITION BY HASH PARTITIONS 2STORED AS KUDUTBLPROPERTIES('kudu.master_addr...原创 2020-01-17 11:32:43 · 1346 阅读 · 2 评论 -
Kudu : kudu运行的时候-停止master RecoverableException: Failed to connect to peer master
1.美图2.背景如果在任务运行的时候,逐渐停止所有的kudu master 会发生什么?尝试发现 直到停止到最后一个之前都是运行正常的。Caused by: org.apache.kudu.client.NoLeaderFoundException: Master config (192.xxx:7051,192.xxx:7051,192.xxx:7051) has no leader. ...原创 2020-01-17 11:27:38 · 1060 阅读 · 0 评论 -
Kudu : tablet=null, server=null, status=Timed out: can not complete before timeout: Batch
1.美图2.背景kudu写入的时候,客户端已经建立链接之后,我们手动去停止tableServer会发生什么?报错如下6676579495308288_20200117091451_2_1', taskRole=CONNECTOR, content='2020-01-17 09:18:39 子任务:T_6676579495308288-0 消费topic-partition:topic_lc...原创 2020-01-17 11:21:50 · 2111 阅读 · 0 评论 -
Kudu : 删除了不存在的数据报错 status=Not found: key not found (error 0)
1.美图2.背景一个实时同步的任务,突然发现写入Kudu的是时候,执行报错在这里插入代码片3.原因分析Apache Kudu不能删除不存在的数据使用Apache Kudu客户端,对KafkaConnect Sink进行扩展。使用的Apache Kudu的Java客户端。突然有天发现作业无法提交,一直报错。后来才发现这是Kudu自身的一种校验机制。为了忽略这种校验机制,更符合我们的...原创 2020-01-17 10:32:46 · 2348 阅读 · 0 评论 -
Kudu : NonRecoverableException: illegal replication factor 2 (replication factor must be odd)
1.meituKudu : NonRecoverableException: illegal replication factor 2 (replication factor must be odd)原创 2020-01-17 10:07:12 · 1105 阅读 · 0 评论 -
Kudu : 命令行接口
1.美图2.概述参考:https://blog.csdn.net/weixin_39478115/article/details/78892325原创 2020-01-16 21:51:35 · 1467 阅读 · 0 评论 -
kudu : 扩容报错 Bad status: Not found: Unable to initialize catalog manager
1.美图2.背景kudu 原本只有一个master 和一个 tableServer 现在我想扩容成3个master ,3个tableServer ,然后报错了错误信息如下Unable to init master catalog manager: Not found: Unable to initialize catalog manager: Failed to initiali...原创 2020-01-14 13:41:47 · 2167 阅读 · 0 评论 -
Kudu 使用注意点
1.美图2.概述impala用sql操作 set version = version + 1 ,version 必须是 bigint,因为 version(int)+1 结果是bigintjson中的 ” 会被转义为 \” 而当作为sql存入的时候 \” 又会被反译 为 ” 所以,再取出来就不是规范的json格式了。。不过这个问题是所有拼接 sql 提交查询的共性问题 //所以把其中...原创 2020-01-07 09:41:32 · 1071 阅读 · 0 评论 -
kudu :impala 和 kuduClient 的选择
1.美图2.概述kudu 原生对impala 做了很好的兼容,用impala可以很方便的使用sql对kudu进行操作,我们在项目中是使用了 impala 和原生 kuduClient 相结合的方式进行。就查询来说,在我的使用过程中 impala 的查询速度要快于 kuduClient 的 scan。建议使用impalainsert 的速度都很快 upsert/update/delete...原创 2020-01-07 09:36:56 · 1370 阅读 · 0 评论 -
Kudu : 三种Fulsh Mode
1.美图2.三种Fulsh ModeAUTO_FLUSH_SYNC 默认,自动flush,同步方法,调用 kuduSession.apply() 时立即写入,在写入完成后才会返回一个 OperationResponse 对象,也只有模式下才会返回该对象,其他的都是返回 null,调用kuduSession.flush() 不会有任何操作。AUTO_FLUSH_BACKGROUND 自动后...原创 2020-01-07 09:32:37 · 1078 阅读 · 0 评论 -
Kudu : NonRecoverableException: Got out-of-order key column
1.美图2.概述kudu表的主键必须在建表语句中列的最前面,并且不为空,例如执行如下语句会报错:CREATE TABLE `person` ( `id` bigint, `name` string, PRIMARY KEY (id, name))PARTITION BY HASH(name) PARTITIONS 16 STORED AS KUDU;异常信息:ERROR...原创 2020-01-07 09:20:03 · 2362 阅读 · 1 评论 -
Kudu : kudu 主键相关
1.美图2.概述3.无主键[xxl:21000] > CREATE TABLE table_dtwave ( id int,name STRING,salary STRING) PARTITION BY HASH PARTITIONS 2 STORED AS KUDU TBLPROPERTIES('kudu.master_addresses' = '192.xxx:7051','kud...原创 2020-01-03 16:28:49 · 791 阅读 · 0 评论 -
Netty:Netty不断打开文件的BUG
1.美图2.背景用户的一个线上的项目,但是运行的时候,总是产生一些句柄。但是数量很多meteor这台服务器 打开了1万多个文件 ,这是什么问题呢?3.堆栈jstack -l 进程号 > a.txt ...原创 2019-12-25 11:11:29 · 2215 阅读 · 2 评论 -
Spark structured 记录一次kudu扩容导致无法写入数据的问题
1.背景我们有个程序,是kafka写入到kudu,此时我们重启了一下任务,结果发现,任务运行后,就会卡主,提示是正在运行,但是实际上报错,打开日志,发现,一直报错找不到节点can not access rds03 ip not found 这样一看,大约猜到是kudu master返回的地址是 域名,而我们获取到域名后,要将数据写到对应的分区中,分区是一个未知的host所对应的机器,然后...原创 2020-07-04 11:57:53 · 988 阅读 · 0 评论 -
Kudu报错:你的主机中的软件终止了一个已建立的链接
1.背景客户机器上,写了一个查询kudu表的程序,在A集群上能正常运行,但是在B集群上报错这个感觉是集群配置问题原创 2019-11-13 10:49:32 · 891 阅读 · 0 评论 -
linux 报错:telnet Connection closed by foreign host
1.背景链接kudu 报错。# telnet samba.example.com 7051Trying 172.31.55.33...Connected to samba.example.com.Escape character is '^]'.Connection closed by foreign host.原创 2019-11-12 17:25:29 · 17299 阅读 · 2 评论 -
Kudu : 插入无法获取主键冲突的异常
1. 背景因为业务需要,想插入Kudu的时候,如果主键已经存在,那么报错,主键冲突异常。代码如下** * kudu的插入 * @author Administrator * */public class InsertRow { public static void main(String[] args) throws KuduException { // ...原创 2019-09-09 17:11:34 · 1715 阅读 · 8 评论 -
kudu:插入报错:Row error for primary key="9", tablet=null, server=xx, status=Not found: key not found
flush error: Row error for primary key="9", tablet=null, server=2ee53ee857f94b1f91376e0564c923da, status=Not found: key not found (error 0) at com.dtwave.meteor.connector.kudu.util.BufferedRecords.fl...原创 2019-09-09 11:43:59 · 2515 阅读 · 0 评论 -
kudu建表:Not enough live tablet servers to create a table with the requested replication factor 3. 2
1. 背景我的kudu服务器如下然后创建表信息[10.27.239.176:21000] > CREATE TABLE my_first_table ( > id BIGINT PRIMARY KEY, > name STRING > ...原创 2019-08-08 18:10:49 · 1924 阅读 · 0 评论