hive
tugangkai
四海皆为兄弟
展开
-
hive优缺点
(一)hive的优点(1)简单容易上手:提供了类SQL查询语言HQL(2)可扩展:为超大数据集设计了计算/扩展能力(MR作为计算引擎,HDFS作为存储系统)一般情况下不需要重启服务Hive可以自由的扩展集群的规模。(3)提供统一的元数据管理(4)延展性:Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数(5)容错:良好的容错性,节点出现问题SQL仍可完成执行(二)hive的缺点(...原创 2018-10-04 20:04:31 · 9897 阅读 · 0 评论 -
HiveSql实例
正文回到顶部一、求单月访问次数和总访问次数1、数据说明数据字段说明用户名,月份,访问次数数据格式A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,1...转载 2019-03-25 00:32:21 · 1675 阅读 · 0 评论 -
hive lateral view 与 explode详解
1.explodehive wiki对于expolde的解释如下:explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list and...转载 2019-03-16 09:53:08 · 1937 阅读 · 0 评论 -
HIVE自定义函数
自定义函数------------------ 1.创建类,继承UDF import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; /** * 自定义hive函数 ...原创 2019-03-16 02:04:03 · 604 阅读 · 0 评论 -
Hive静态分区和动态分区
需要建立一个备份带分区的数据表,拷贝时若采用静态分区方式需要写 N 行语句,因此可以使用动态分区,节省大量时间。Hive 的分区方式:由于 Hive 实际是存储在 HDFS 上的抽象,Hive 的一个分区名对应一个目录名,子分区名就是子目录名,并不是一个实际字段。一)hive 中支持两种类型的分区:静态分区 SP(static partition) 动态分区 DP(dynamic p...转载 2019-03-16 01:56:53 · 176 阅读 · 0 评论 -
Hive中日期函数总结
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq646748739/article/details/77997276 –Hive中日期函数总结:–1.时间戳函数–日期转时间戳:从1970-01-01 00:00:00 UTC到指定时间的秒数...转载 2018-11-01 22:49:10 · 2206 阅读 · 0 评论 -
hive调优
Hive性能优化上的一些总结注意,本文百分之九十来源于此文:Hive性能优化,很感谢作者的细心整理,其中有些部分我做了补充和追加,要是有什么写的不对的地方,请留言赐教,谢谢前言 今天电话面试突然被涉及到hive上有没有做过什么优化,当时刚睡醒,迷迷糊糊的没把以前实习的中遇到的一些问题阐述清楚,这里顺便转载一篇并来做一下总结介绍 ...转载 2018-11-01 22:46:58 · 119 阅读 · 0 评论 -
hive使用动态分区插入数据详解
往hive分区表中插入数据时,如果需要创建的分区很多,比如以表中某个字段进行分区存储,则需要复制粘贴修改很多sql去执行,效率低。因为hive是批处理系统,所以hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。 1.创建一个单一字段分区表hive> create t...转载 2018-11-01 21:28:59 · 6498 阅读 · 0 评论 -
使用hive做单词统计
方法一(分步查询):1、首先创建一个文件单词的文件,例如a.txtkk,123,weiwei,123hlooe,hadoop,hello,okh,kk,123,weiwei,okok,h2、将文件上传到hdfs中hdfs dfs -copyFromLocal ./a.txt /upload/wangwei/a.txt3、在hive中创建一个textline的表cr...转载 2018-11-01 01:29:09 · 991 阅读 · 0 评论 -
hive分区和分桶的使用
//创建表,external 外部表$hive>CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int)COMMENT ‘xx’ ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’ STORED AS TEXTFILE ;//查看表数据$hive>desc t2 ...原创 2018-11-01 01:25:12 · 359 阅读 · 0 评论 -
hive静态与动态分区理解
需要建立一个备份带分区的数据表,拷贝时若采用静态分区方式需要写 N 行语句,因此可以使用动态分区,节省大量时间。Hive 的分区方式:由于 Hive 实际是存储在 HDFS 上的抽象,Hive 的一个分区名对应一个目录名,子分区名就是子目录名,并不是一个实际字段。一)hive 中支持两种类型的分区:静态分区 SP(static partition) 动态分区 DP(dynamic p...转载 2019-03-25 15:53:10 · 972 阅读 · 0 评论