Hadoop 配置不当引起集群不稳

配置不当内容

  资源配置不当:内存、文件句柄数量、磁盘空间

 

需要调整的地方

   Hadoop、OS 配置文件

 

Oversubscription of MR heap caused swap -> Swap caused RegionSrver to time out and die -> Dead RegionServer caused MR tasks to fial until MR job died.

 

内存配置不当

TT OOME

 

JT OOME

 

Native Threads

 

Thread 配置不当

 

Fetch 失败

 

Replicas

 

磁盘配置不当

 

No File

 

Too Many Files