![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据开发排错
大数据集群开发踩坑,排查,debug
栗子_yangxw
有志者、事竟成,破釜沉舟,百二秦关终属楚!
展开
-
kudu+impala表名、字段名大小敏感问题
文章目录背景1. 表名大小写 实践通过impala 建表 `AbTest_log`查询测试写入测试2. 字段名大小写 实践3. 结论背景表DDL语句通过impala进行,比如建表,新增列等等表数据插入通过kudu client客户端进行数据插入问题: 当表名有大小写,或者属性名有大小写的时候,有的数据不能插入的情况1. 表名大小写 实践通过impala 建表 AbTest_log通过impala查询,表名是小写 abtest_log通过kudu客户端查询,表名是AbTest_log原创 2021-05-18 15:34:23 · 1062 阅读 · 0 评论 -
scala与java混合开发,导致jdk8接口静态方法不能编译打包的问题
异常背景jdk1.8中支持接口定义default方法与static静态方法,我的项目中两者都有使用场景,项目在ide本地运行没有问题,但是执行 maven 打包 maven assembly:assembly报错如下:原因分析与解决因为scala的编译插件,检测到java接口内的静态方法不是以“ ;”结束,所以报错,但是显然这是不正确的,所以需要加上以下配置,排除scala插件干扰 .java文件的编译。顺便一提: 如果你遇到的是编译打包没有把scala代码打包进去,也是这两个插件没有配置好。原创 2020-12-10 10:44:06 · 392 阅读 · 0 评论 -
spark亿级数据写入kudu报错complete before timeout
目录spark任务submit后运行一段时间输出日志sparkui上看到失败task输出日志问题定位spark任务submit后运行一段时间输出日志Delayed: (UNKNOWN, [ Write, 21 ]))}Timed out: cannot complete before timeout: Batch{operations=256, tablet="4a02e65bac264694b14faeee40998735" [0x00000002, 0x00000003), ignoredError原创 2021-02-04 11:35:11 · 2137 阅读 · 2 评论 -
spark任务写入kudu表报错Failed to write at least 1000 rows to Kudu
报错内容如下:关键词:Failed to write at least 1000 rows to KuduNot found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000原创 2021-03-08 11:13:29 · 1288 阅读 · 2 评论