![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 85
aiSniff
这个作者很懒,什么都没留下…
展开
-
mysql 数据导入hive问题
环境:os : centos7.5hadoop :3.0hive: 3.0sqoop: 1.5mysql: 5.7MySQL数据导入到hive,在通过zookeeper地址连接hive时,一直处于卡住状态,没有发现任何错误信息,经过一番查找,终于发现问题之根源。 首先,给一下我的导入命令:sudo -u hdfs sqoop import –connect ‘\...原创 2019-02-22 23:01:11 · 384 阅读 · 0 评论 -
hive 压缩格式汇总
今天,看了几篇hive压缩格式相关的博客觉得不错,在这里做一下提取要点汇总。0 前言数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce,所以应该使用低cpu开销和高压缩效率,一般最好使用sn...原创 2019-03-01 16:31:32 · 3123 阅读 · 0 评论