hive
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
Hive分区表新增字段为null的bug及解决方法
总结:对于分区表添加字段,向已存在分区中插入数据,结果新增字段的值全部为null。注:是已存在分区,新的分区并不会产生该问题;无论是内部表还是外部表均有该问题。创建分区表:create table test1(id int) partitioned by (pt_d varchar(11))插入数据insert into table test1 partition(pt_d='20170101') values(1),(2);查看数据select * from test1;原创 2020-12-18 16:03:24 · 382 阅读 · 0 评论 -
Hive数据倾斜
Hive数据倾斜问题:倾斜原因: map输出数据按Key Hash分配到reduce中,由于key分布不均匀、或者业务数据本身的特点。】【等原因造成的reduce上的数据量差异过大。1.1)key分布不均匀1.2)业务数据本身的特性1.3)SQL语句造成数据倾斜解决方案:1>参数调节: hive.map.aggr=true hive.groupby.skewin...原创 2018-10-21 23:28:46 · 147 阅读 · 0 评论 -
hive面试题
hive 内部表:加载数据到 hive 所在的 hdfs 目录,删除时,元数据和数据文件都删除 外部表:不加载数据到 hive 所在的 hdfs 目录,删除时,只删除表结构(3)分区作用:防止数据倾斜(4)UDF 函数:用户自定义的函数 (主要解决格式,计算问题 ),需要继承 UDF 类java 代码实现class TestUDFHive extends UDF {pub...原创 2018-11-11 00:13:55 · 4632 阅读 · 2 评论 -
Hive执行脚本时传参
使用-hiveconf传参测试脚本-- test.sqlselect 'Start Testing ...';select ${hiveconf:day}, '${hiveconf:url}';select 'Test End!';命令行hive -hiveconf day=20180716 -hiveconf url='www.baidu.com' -S -f t...原创 2018-12-04 16:11:01 · 684 阅读 · 0 评论