![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 79
531396533
这个作者很懒,什么都没留下…
展开
-
hive应用
1:hive是一个构建在hadoop上的数据仓库平台,hive提供一个被称为Hive查询语言,来查询存储在Hadoop集群中的数据。hive的查询语句会被解析为mapreduce任务,由hadoop集群执行mapReduce任务读取hdfs分布式文件系统中的数据,hive不会在数据加载时进行验证,而是在查询时进行,读时模式。 2:hive会为每个数据库创建一个目录。数据库中的表将会以这...原创 2015-08-25 11:41:40 · 230 阅读 · 0 评论 -
hive查询和优化
1:Local Model(本地模式):select user,item from table limit 10;(生成mapreduce)select * from table limit 10;(不会生存mapreduce) 2:列剪裁 :hive在读数据的时候,可以只读取查询中所需要用到的列 3:分区剪裁:在查询的过程中减少不必要的分区使用explain de...原创 2015-08-27 20:28:32 · 91 阅读 · 0 评论 -
Hive自定义UDF和聚合函数UDAF
一、Hive可以允许用户编写自己定义的函数UDF,来在查询中使用。Hive中有3种UDF: UDF:操作单个数据行,产生单个数据行; UDAF:操作多个数据行,产生一个数据行。 UDTF:操作一个数据行,产生多个数据行一个表作为输出。 二、编写自己定义的函数UDF 第一步:继承UDF或者UDAF或者UDTF,实现特定的方法...原创 2016-04-04 19:55:10 · 123 阅读 · 0 评论