![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
调优
调优
老菜啦
这个作者很懒,什么都没留下…
展开
-
HBase优化
1. 高可用在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期,均衡 RegionServer 的负载,如果 HMaster 挂掉了,那么整个 HBase 集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。1.关闭 HBase 集群(如果没有开启则跳过此步)[hadoop@hadoop102 h...原创 2020-03-24 17:31:56 · 87 阅读 · 0 评论 -
Hive调优
1.Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive...原创 2020-03-12 19:55:35 · 175 阅读 · 0 评论 -
Hadoop优化
1.MapReduce 跑的慢的原因2.MapReduce优化方法1.数据输入阶段2.Map阶段3.reduce阶段4.I/O传输5.数据倾斜问题及优化方法6.常用的调优参数(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)配置参数参数说明mapreduce.map.memory.mb一个MapT...原创 2020-03-02 13:16:35 · 142 阅读 · 0 评论