第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记

第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记

本期内容：

1.hadoop的内存使用

2.namenode内存使用详解

namenode内存大小涉及到集群的规模。

hadoop默认为每一个终端分配1GBm内存

hadoop2.6.0中mapper和reducer都叫yarn child。

具体在worker上运行的map和reduc任务个数取决于cpu个数。

如果设定map和reduc任务个数超过cpu个数，能得到更好的利用率。

map和reduc任务个数设为cpu(core)的个数的1-2倍比较好。

现在生产环境中每台worker机的内存一般为32G内存。

ganglia监控集群中的内存和cpu的使用状况。

namenode节点非常消耗内存：

1.block个数

2.文件名称的长度 

3.系统目录的个数

 

1GB内存可以管理百万个block文件。

例：bolck为128M,副本为3个，200台集群，4TB数据，需要的Namenode内存为：

200x 4000000MB / (128MB x 3)

 

secondary namenode需要的内存与namenode需要的内存大概一样。

一般secondary namenode与namenodef运行在不同机器上。

 

以上内容是从王家林老师DT大数据课程第118讲的学习笔记。
DT大数据微信公众账号：DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号：18610086859
DT大数据梦工厂1至118集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group

 

第118讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-77404.html