hive
YYDU_666
这个作者很懒,什么都没留下…
展开
-
Hive性能优化
1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产转载 2017-12-23 00:22:33 · 434 阅读 · 0 评论 -
在Hive中实现存储过程–HQL/SQL
目前版本的Hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务或者一张报表的统计分析。好消息是,现在已经有了Hive存储过程的解决方案(HPL/SQL –Procedural SQL on Hadoop),并且在未来的Hive的版本(2.0)中,会将该模块集成进来。该解决方案不仅支持Hiv...转载 2018-06-10 23:17:39 · 620 阅读 · 0 评论 -
PostgreSQL GreenPlum HAWQ三者的关系及演变过程
这个日程安排同时也是我们公司核心团队的技术进阶史。公司创始团队成员有幸以核心开发者的角色参与,从单机版的关系型数据库(PostgreSQL),大规模并行处理(MPP)数据库(Greenplum Database)到SQL on Hadoop解决方案(Apache HAWQ),以及最新的SQL on Cloud数据仓库(HashData)。通过回顾这个技术演进的历程,我们将阐述如何一步一步地解决联机...原创 2018-06-27 12:02:35 · 10716 阅读 · 4 评论 -
Hive与HBase整合
首先需要把hive/lib下的hbase包替换成安装的hbase的,需要如下几下:hbase-client-0.98.2-hadoop2.jarhbase-common-0.98.2-hadoop2.jarhbase-common-0.98.2-hadoop2-tests.jarhbase-protocol-0.98.2-hadoop2.jarhtrace-core-2.04.jarhbase-s...原创 2018-07-11 10:36:58 · 209 阅读 · 0 评论