hive
文章平均质量分 97
大数据之家
这个作者很懒,什么都没留下…
展开
-
Spark SQL: Relational Data Processing in Spark(SparkSQL原理解密,希望对大家有所帮助)
Spark SQL: Relational Data Processing in SparkMichael Armbrusty, Reynold S. Xiny, Cheng Liany, Yin Huaiy, Davies Liuy, Joseph K. Bra...原创 2018-12-28 21:47:48 · 2541 阅读 · 0 评论 -
Hive on Spark安装部署(hive1.1,spark1.5,cdh版本)
环境:Hadoop:Hadoop 2.5.0-cdh5.2.0Spark:spark-1.5.0-cdh5.5.1Hive:hive-1.1.0-cdh5.5.0低版本的hive升级到2.x可以甚至3.x也可以大幅度提升hive的性能,不过由于生产环境的数据量比较大,风险比较高,作为提速的备份方案,Spark官方已经不提供1.5的版本了,稳定版本可以看下1.6,后面我再进行相关测试...原创 2019-01-18 14:59:36 · 644 阅读 · 0 评论 -
Hive on spark日志打印问题总结(任务执行进度的透明化)
一:问题hive on spark中,当切到spark计算引擎的时候发现打印的日志不全,默认的日志只到下图就结束了 对比之前mapreduce的日志我们可以很容易的发现MR日志有很详细的进度,用户可以通过查看这个map和reduce的进度来查看任务的执行情况,但是spark我们怎么办呢?二:分析通过在hiveserver端查看MR这些日志打印的行,都是SessionSt...原创 2019-01-22 16:09:19 · 2289 阅读 · 0 评论