hive
文章平均质量分 88
_小蚂蚁_
这个作者很懒,什么都没留下…
展开
-
Hive左连接
CREATE EXTERNAL TABLE IF NOT EXISTS a(telno STRING,other STRING)PARTITIONED BY(day String)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';CREATE EXTERNAL TABLE IF NOT EXISTS b(telno STRI...原创 2014-05-05 10:32:54 · 1838 阅读 · 0 评论 -
hive的优化2
[color=darkblue][b][size=x-large][align=center]Hive的优化[/align][/size][/b][/color] Hive针对不同的查询进行优化,其优化过程可以通过配置进行控制。 [b]1.列裁剪(Column Pruning)[/b] 在读取数据时,只读取查询中需要用到的列,而忽略其他的列,例如如下查...原创 2014-07-07 14:42:00 · 102 阅读 · 0 评论 -
hive的优化1
[b]一、join优化[/b] Join查找操作的基本原则:应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join,且所有参与join的表中其参与join的key都相同,则会将所有的...原创 2014-05-26 11:31:04 · 181 阅读 · 0 评论 -
hive文件压缩存储格式
[b][align=center]hive文件存储格式包括以下几类:[/align][/b][b]1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.自定义格式[/b] 其中TEXTFILE为默认格式,建表时不指定,默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SequenceFile,RCFile格式的表不能直接从本地...原创 2014-05-26 11:19:53 · 118 阅读 · 0 评论 -
hive 函数
[b]字符串函数[/b][b]字符串长度函数:length[/b]语法: length(string A)返回值: int说明:返回字符串A的长度举例:hive> select length(‘abcedfg’) from dual;7[b]字符串反转函数:reverse[/b]语法: reverse(string A)返回值: string说明:返回字...原创 2014-05-20 16:47:09 · 113 阅读 · 0 评论 -
shell语句执行hive查询
[size=large][b]执行hive查询实例[/b][/size][b]执行select查询[/b] [code="shell"]$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'[/code][b]加入配置变量的查询[/b] [code="shell"]$HIVE_HOME/bin/hive -e 'selec...原创 2014-05-09 15:41:46 · 784 阅读 · 0 评论