Hive
文章平均质量分 73
Hive技术学习与分享
liweihope
这个作者很懒,什么都没留下…
展开
-
Hive执行流程
当你去执行一个HiveQL的时候,其实它里面做了好多东西。你输入一个sql字符串,那么也就是一串字符串,hive怎么认识这个字符串?它又怎么去运行这个字符串?是不是要去解析它。发出一个SQL。首先去解析它(Parser),抽象语法树(AST),比如看看有没有语法错误。要达到一个什么层度?看到一个SQL语句,就知道它内部实现的一个过程,而不是简简单单的SQL,比如用MR的思想把它描述出来,...原创 2019-05-02 12:39:37 · 7726 阅读 · 2 评论 -
UDF函数在Hive中的使用
UDF介绍官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFUDF: User-Defined Function用户自定义函数。在Hive中,有很多的内置函数,它自带的,但是呢,就算有很多内置函数,它也满足不了众多业务逻辑的需求。所以呢,在工作中我们还是需要去自己开发UDF函数来实现我们想要的功能。...原创 2019-05-02 16:33:59 · 2163 阅读 · 0 评论 -
Hive支持处理lzo压缩格式的数据统计查询
Hive支持处理lzo压缩格式的数据统计查询之前需要编译hadoop-3.2.2源码并支持lzo压缩,参考之前博客:编译hadoop-3.2.2源码并支持lzo压缩以上是前提。数据准备这里准备了一份379M的数据makedatatest.txt,用lzo压缩命令把文件压缩成makedatatest.txt.lzo,大小为158M,hdfs块大小为128M。[ruoze@hadoop001 data]$ lzop -v makedatatest.txt compressing makedatate原创 2022-02-11 11:01:06 · 1391 阅读 · 0 评论 -
HiveQL执行过程
参考之前的博客:https://blog.csdn.net/liweihope/article/details/89740863Hive是基于hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并且提供SQL查询。讲SQL语句转换成MapReduce任务进行运行,实现简单的MapReduce统计,不必开发专门的MapReduce程序。hive的设计是为了减轻MapReduce...原创 2019-10-14 15:16:12 · 1186 阅读 · 0 评论