第115讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记

第115讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记

本期内容：

1.hadoop商业硬件的选择

2.hadoop集群规模建议

3.hadoop网络拓扑结构

4.机架感知

 

1.hadoop商业硬件的选择

hadoop可以运行在普通的硬件上。但hadoop运行时对内存和CPU有要求。普通的硬件不等于非常低端的硬件。8个CPU4Core2.5GHz,16GBRAM,4TB-SATA硬盘，网络也非常重要，最好万兆网。

2.hadoop集群规模建议

hadoop的规模，最低10个节点，具体规模根据业务需要。

硬盘容量要用业务数据加上20%-30%的中间数据量。

3.hadoop网络拓扑结构：

数据不动代码动，要选择好数据存储方式。

hadoop倾向于机架内的数据传输而不是机架间的数据传输。

4.机架感知：

通过DNSToSwitchMapping接口指定网络地址和网络位置间的关系

public interface DNSToSwitchMapping{

  public List<String> resolve(List<String> names);

}

配置接口实现机架感知。

总之：建议内存128GB，8个CPU,4Core，5TB硬盘。

 

以上内容是从王家林老师DT大数据课程第115讲的学习笔记。
DT大数据微信公众账号：DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号：18610086859
DT大数据梦工厂1至117集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group

 

第115讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-77349.html