Hive
文章平均质量分 66
曾燕辉
高级开发、高级软件工程师
展开
-
Hive性能调优
转载自:http://blog.csdn.net/wisgood/article/details/17356621. 设置hive.map.aggr=true,提高HiveQL聚合的执行性能。这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗阶段数据传输和Reduce阶段的执行时间,提升总体性能。缺点:该设置会消耗更多的内存。注:顶层的聚合操作(top-转载 2016-09-05 00:27:49 · 500 阅读 · 0 评论 -
SQLSERVER获取排除了text类型的所有字段名以逗号隔开
在实际使用Sqoop抽取表到Hive表,为了方便就使用SQL语句将SQLSERVER字段转换成对应Hive表字段原创 2016-08-30 22:27:37 · 693 阅读 · 0 评论 -
MySQL表字段转换成Hive字段
select concat('`',column_name,'`') colname, case when NUMERIC_PRECISION is not null and (data_type='decimal' or data_type='numeric') then concat('decimal(' , NUMERIC_PRECISION原创 2016-10-25 14:25:42 · 3321 阅读 · 0 评论 -
hive修改 表/分区语句
转摘自博文 : hive修改 表/分区语句1、表修改 添加列ALTER TABLE table_name ADD COLUMNS (col_name STRING); //在所有存在的列后面,但是在分区列之前添加一列修改列CREATE TABLE test_change (a int, b int, c int);// will change column转载 2016-12-12 13:22:43 · 830 阅读 · 0 评论 -
SQLSERVER表字段转换成hive字段
select '`'+column_name+'`' colname, case when NUMERIC_PRECISION is not null and (data_type='decimal' or data_type='numeric') then 'decimal('+cast(NUMERIC_PRECISION as varchar)+'原创 2016-10-25 14:24:42 · 1910 阅读 · 0 评论