![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
impala/hive/kudu
文章平均质量分 64
impala/hive/kudu
hcq_lxq
这个作者很懒,什么都没留下…
展开
-
impala中 alter table add partition 对HDFS文件权限的影响
偶然的机会发现用其他用户重写impala用户下的分区数据时有些表报错,有些表不报错,重写报错信息(Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table)。最后发现都是用impala用户插入的分区数据有些HDFS文件权限是755,有些权限是777。最后发现是因为原创 2021-11-09 11:14:27 · 2290 阅读 · 0 评论 -
行转列,列转行操作
一列转多行:oracle实现方式:注意:以下只有单行数据或拆分单个字符串时候适用:WITH test AS(SELECT '11' COL1,'zhang,wang,li,huang' COL2 FROM DUAL)SELECT test.col1,test.col2, regexp_count(test.col2, '\,') + 1 as col2_num, regexp_substr(test.col2,'[^,]+',1,level) col2_new...原创 2021-11-03 13:44:47 · 4759 阅读 · 0 评论 -
服务器异常断开导致kudu无法启动问题(Data length checksum does not match: Incorrect checksum in file ... : Checksum )
某日一台服务器异常断开,无法登陆,后续正常后,agent服务自动重启,服务器上的各种角色也在启动恢复,但是kudu无法恢复。手动重启后失败:大概由于服务器异常断开,当时kudu正在进行数据写入操作,导致数据文件异常,报错如下:++ date+ timestamp='Wed Oct 13 10:57:02 CST 2021'+ echo 'Wed Oct 13 10:57:02 CST 2021: Found master(s) on hadoopap11,hadoopap12,hadoop..原创 2021-10-13 17:09:25 · 1040 阅读 · 0 评论 -
kudu使用注意事项
表:1、表的副本数必须为 奇数,最多7。2、副本数在建表的时候指定,之后无法更改主键:1、表创建后,主键不能修改。必须删除重指定新的2、主键列必须在非之前3、 主键列的值不能使用 UPDATEUPDATEUPDATEUPDATEUPDATEUPDATE函数修改。如果要主键的值只能删除 该行重新插入。4、 DOUBLE 、 FLOAT或BOOL 类型的列不能作为 主键,此外必须NOT NULL 。5、 不支持自动生成的主键(如自增列)6、 组合主键的所有列在编码后,大小不...原创 2021-08-25 13:47:24 · 744 阅读 · 0 评论 -
在hive中生成的parquet文件 和 impala生成的parquet文件相比,大小不一样
使用sqoop抽取一批数据进入集群:MR抽取进来的大小是187.6 M 数据量 1516513测试一: 用impala把批数据进行插入 ,结果同样数据用户impala形成的文件占用磁盘59M,相比MR减少3倍;测试二:查询impala生成的结果数据,用hive方式插入使用hive执行压缩参数进行测试结果:无压缩效果;不管是查询hive的结果还是查询impala的结果最终用hive插入新的表中;最终大小都是187.6 M以下参数无效set hive.exec..原创 2021-08-22 16:42:24 · 418 阅读 · 0 评论 -
CDH不同集群之间hive/impala数据迁移(hadoop distcp)
##get_hive_db_tables.sh#!/bin/bash##脚本位置where_src_table_info="/home/hadoopap/test_mv_kd/create_hive_table"##查询大数据所有的databasehive -e " show databases; exit ;" | grep -v default | grep -v test > ${where_src_table_info}/databases.txtif [ ! -d .原创 2021-08-20 15:57:38 · 1706 阅读 · 0 评论