第118讲:Hadoop内存需求量及Namenode内存使用详解学习笔记
本期内容:
1.hadoop的内存使用
2.namenode内存使用详解
namenode内存大小涉及到集群的规模。
hadoop默认为每一个终端分配1GBm内存
hadoop2.6.0中mapper和reducer都叫yarn child。
具体在worker上运行的map和reduc任务个数取决于cpu个数。
如果设定map和reduc任务个数超过cpu个数,能得到更好的利用率。
map和reduc任务个数设为cpu(core)的个数的1-2倍比较好。
现在生产环境中每台worker机的内存一般为32G内存。
ganglia监控集群中的内存和cpu的使用状况。
namenode节点非常消耗内存:
1.block个数
2.文件名称的长度
3.系统目录的个数
1GB内存可以管理百万个block文件。
例:bolck为128M,副本为3个,200台集群,4TB数据,需要的Namenode内存为:
200x 4000000MB / (128MB x 3)
secondary namenode需要的内存与namenode需要的内存大概一样。
一般secondary namenode与namenodef运行在不同机器上。
以上内容是从王家林老师DT大数据课程第118讲的学习笔记。
DT大数据微信公众账号:DT_Spark
王家林老师QQ:1740415547
王家林老师微信号:18610086859
DT大数据梦工厂1至118集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group
第118讲视频网站地址:
51CTO | http://edu.51cto.com/lesson/id-77404.html |