![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
踩坑记录
文章平均质量分 51
chimchim66
火火要努力变强啊。。。
展开
-
Impala删除kudu表时遇到的问题
ps:表名就是报错内容里面提示的(impala::db_name.kudu_table_name),一定不要忘记前面的【impala::】!在IMPALA上面创建了KUDU表之后DROP TABLE了该表,想要重新执行建表语句,但是发现报错了,提示表已存在无法新建。kudu table delete master 主机名 表名。原创 2023-07-20 15:49:27 · 658 阅读 · 0 评论 -
impala内存超限
impala内存限制问题原创 2023-06-02 14:40:16 · 1066 阅读 · 0 评论 -
[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数
DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数。如果bps限速和tps限速只设置了一个,那以设置的那个为准,因为没设置的那个默认Integer.MAX_VALUE,肯定大于设置的那个,所以取小的数就是设置的那个。如果bps限速和tps限速都没有设置,那才读取直接设置的值,也就是说,直接设置的优先级最低。如果bps限速和tps限速都设置了,那谁比较小,以哪个为主。原创 2023-04-27 12:12:15 · 3199 阅读 · 0 评论 -
ERROR: column “a“ of relation “table2“ does not exist
pg执行update select时报错原创 2023-01-04 15:52:26 · 3954 阅读 · 0 评论 -
cannot update table because it does not have a replica identity and publishes updates
pg执行update select语句报错原创 2023-01-04 15:28:50 · 1019 阅读 · 0 评论 -
【踩坑实录】DBeaver数据导出CSV格式文件为科学计数法
DBeaver数据导出CSV格式文件为科学计数法原创 2022-12-16 12:52:20 · 2377 阅读 · 0 评论 -
insert overwrite table不会覆盖原文件,而是新增一个文件
insert overwrite 多个文件问题原创 2022-11-09 17:37:52 · 1817 阅读 · 0 评论 -
【踩坑实录】there is no unique or exclusion constraint matching the ON CONFLICT specification
datax pg upsert原创 2022-10-26 11:49:40 · 3263 阅读 · 0 评论 -
datax-kuduwriter常见报错
kuduwriter原创 2022-10-18 21:40:58 · 2956 阅读 · 0 评论 -
【踩坑实录】-No enum constant com.alibaba.datax.plugin.writer.hdfswriter.SupportHiveDataType.DECIMAL(6,4)
datax HdfsWriter不支持decimal类型原创 2022-10-13 20:53:27 · 1922 阅读 · 2 评论 -
【踩坑实录】-bucketId out of range: -1 (state=,code=0)
bucketId out of range: -1 (state=,code=0)原创 2022-10-13 18:42:34 · 1850 阅读 · 2 评论 -
Mac 上的 Keynote 讲演文件转ppt格式
Mac 上的 Keynote 讲演文件转ppt格式原创 2022-09-16 10:48:05 · 2548 阅读 · 0 评论 -
hive查询报错:Invalid postscript
hive查询报错:Invalid postscript原创 2022-09-09 16:56:49 · 1077 阅读 · 0 评论 -
【踩坑实录】hive cli查询不显示表头
hive cli查询不显示表头原创 2022-09-06 20:19:39 · 972 阅读 · 0 评论 -
【踩坑实录】hive删除字段报错
hive删除字段报错,SerDe may be incompatible不兼容问题原创 2022-09-06 11:23:33 · 2166 阅读 · 0 评论 -
【踩坑实录】hive修改存储格式-orc格式修改为text
hive orc格式和text格式互转原创 2022-09-05 21:17:22 · 3093 阅读 · 0 评论 -
【踩坑实录】datax从pg同步数据到hive数据全为null问题
datax从mysql导入表数据到hive表,字段值为NULL,问题分析原创 2022-08-23 17:30:53 · 1544 阅读 · 0 评论 -
【踩坑实录】-java.sql.SQLException: The MySQL server is running with the LOCK_WRITE_GROWTH option so it ca
产品工具:dataphinquick bi背景:使用阿里dataphin工具将开发好的ads表数据推送到bi报表后台mysql库表中,突然报错报错内容:经Dlink智能分析,该任务最可能的错误原因是:com.alibaba.dt.dlink.core.exception.DlinkException: Code:[Framework-02], Description:[Dlink引擎运行过程出错,具体原因请参看Dlink运行结束时的错误诊断信息 .]. - com.alibaba.dt.p原创 2022-05-18 16:50:54 · 1311 阅读 · 3 评论 -
【踩坑实录】-hive参数产生2个文件问题
背景:执行任务完成后,经常会发现hdfs生成了多个文件设置以下参数防止hive生成2个文件:set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging;处理方法:在hive-site.xml中添加以下参数。<property> <name>hive.exec.stagingdir</name> <value>/tm...原创 2022-05-09 14:30:06 · 675 阅读 · 0 评论 -
踩坑实录-datax数据推送字符集错误
背景:使用datax工具将一张表从hive推送数据到mysql报错:Incorrect string value: '\\xF0\\xA5\\x96\\x84' for column 'user_name' at row产生原因分析:普通的字符串或者表情都是占位3个字节,所以utf8足够用了,但是移动端的表情符号占位是4个字节,普通的utf8就不够用了,为了应对无线互联网的机遇和挑战、避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用 utf8mb4 字符集,原创 2022-05-07 11:22:35 · 1030 阅读 · 0 评论 -
hive锁机制及解锁
hive锁机制hive存在两种锁,共享锁Shared (S)和互斥锁Exclusive (X),其中只触发s锁的操作可以并发的执行,只要有一个操作对表或者分区出发了x锁,则该表或者分区不能并发的执行作业。各个操作锁出发的锁如下:补充一条,load data (local) inpath ’ ’ into table xx partition() 出发的锁操作同insert直接在hadoop上 hadoop dfs -put xx yy 不触发锁。(可以用在shell上 执行 hadoop dfs原创 2022-05-06 16:21:23 · 1721 阅读 · 0 评论 -
拉链表起始时间转成多行日期
dataphin拉链表起始时间转成多行日期:(ps:dataphin split()怎么都识别不出空格,自闭了。。。替换成字符解决了)select a.*,b.*,dateadd(start_time,pos,'dd')from (select'2021-10-01 00:00:00' as start_time,'2021-10-03 00:00:00' as end_time) alateral view posexplode(split(replace(space(datediff(e原创 2021-10-28 16:40:47 · 874 阅读 · 0 评论 -
sql查询报java.lang.RuntimeException: serious problem
原因:数据表的存储格式为orc解决办法:将 表的存储格式改成 parquet /textfile原创 2020-08-11 14:48:15 · 665 阅读 · 0 评论