hadoop3.1.3优化系列
文章平均质量分 88
主要是对hdfs、MapReduce的优化
小雏菊的成长
大数据开发,搬砖人
展开
-
hadoop 优化之企业优化
Hadoop优化之企业优化,内容包括MapReduce跑的慢的常见原因、MapReduce的优化方法、常用的调优参数、hadoop小文件优化方法等。 @[TOC](目录) # MapReduce跑的慢的常见原因 MapReduce程序效率的瓶颈在于以下量两点(主要) 1、计算机的硬件设施,它包括计算机的CPU、内存、磁盘检查、网络等 2、软件方面的-I/O操作 a、数据倾斜 b、MapTask和ReduceTask的数设置的不合理 d、MapTask运行的时间太久,会导致ReduceTask等待的过久原创 2022-05-02 12:01:40 · 88 阅读 · 0 评论 -
hadoop 优化之hdfs扩容和缩容
本篇博客主要是对hadoop hdfs的扩容和缩容进行配置。主要包括:如何添加hdfs集群的白名单、添加服役服务器、集群服务器之间的数据均衡和黑名单退役不需要的服务器的方法和命令。原创 2021-12-17 17:56:23 · 1487 阅读 · 0 评论 -
hadoop 优化之hdfs多目录
本篇文章主要是对hadoop的hdfs进行调优,包括NameNode的多目录配置优化,DataNode的多目录配置优化,集群磁盘之间的数据均衡优化,后续还会更新 。不足之处,欢迎斧正!原创 2021-12-17 16:01:14 · 824 阅读 · 0 评论