![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop优化系列
文章平均质量分 92
小雏菊的成长
大数据开发,搬砖人
展开
-
hadoop 优化之企业优化
Hadoop优化之企业优化,内容包括MapReduce跑的慢的常见原因、MapReduce的优化方法、常用的调优参数、hadoop小文优化方法等。MapReduce程序效率的瓶颈在于以下量两点(主要)1、计算机的硬件设施,它包括计算机的CPU、内存、磁盘检查、网络等2、软件方面的-I/O操作a、数据倾斜b、MapTask和ReduceTask的数设置的不合理d、MapTask运行的时间太久,会导致ReduceTask等待的过久e、小文件过多,不符合hadoop设计的初衷原创 2022-05-02 12:00:03 · 691 阅读 · 0 评论 -
hadoop 优化之hdfs的故障排除
本篇博客主要是对hadoop hdfs的故障排除,主要包括:NameNode故障的处理,集群安全模式和磁盘修复。原创 2021-12-17 18:50:39 · 527 阅读 · 0 评论