![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 90
猿说新宇
这个作者很懒,什么都没留下…
展开
-
Centos下伪分布式安装Hive以及安装可能出现的问题
安装要求:Hive 1.2.1 MySQL 5.7 JDK 1.81.下载解压cd /mk/soft tar -xvzf apache-hive-1.2.1-bin.tar.gz -C /appl/ cd /appl mv apache-hive-1.2.1-bin hive-1.2.1 2. 配置环境变量vi /etc/profile export HIVE_HOME=/ap...原创 2018-06-13 17:29:42 · 666 阅读 · 0 评论 -
如何控制Hive执行中的Map和Reduce数量
目录 Map map任务的个数 切片与块的关系 是不是map数越多越好 合理的map数设置 如何合并小文件,减少map数? 如何适当的增加map数? Reduce hive自己如何确定reduce数 调整reduce个数方法 调整hive.exec.reducers.bytes.per.reducer参数的值 调整mapred.reduce.tasks参数的值 是不...原创 2018-10-28 13:46:31 · 718 阅读 · 0 评论 -
Hive数据在Hadoop集群间的迁移
环境说明: 136.64.69.10(e3base02) 原集群Hive服务端 136.64.69.49(e3base49) 目标集群Hive服务端 136.64.69.75(e3base55) 目标集群Hive客户端 weixh_test Hive测试库 1、创建目录 原集群导出数据临时目录 hdfs dfs -mkd...原创 2019-07-18 20:29:49 · 741 阅读 · 0 评论