自学大数据第七天~Hadoop集群的部署与使用

Hadoop集群的部署与使用

部署之前先了解一下各个组件的作用

NameNode是什么?

NameNode就像是一个文件系统的总管家,用于管理各种元数据并提供服务;
其里面有很多元数据,为了提高数据的访问速度,这些数据都是直接保存在内存中;

NameNode节点硬件的选择

由于数据都是直接保存在内存中,当数据量多的时候,如果内存不足…
所以一般NameNode所在节点运行内存16GB起步,双通道 LPDDR4及以上

两个4核或8核CPU

另一个是网络带宽要高

SecondNameNode

是NameNode的一个冷备份
如果集群规模小
我们在启动hadoop集群时会启动SecondNameNode
当NameNode出现问题时,SecondNameNode不能立马顶上来,

MR是什么?

简单的来说MR就是并行处理的服务器;

MR两大核心组件~

我们在运行一个作业的时候,

• JobTracker

JobTracker就像一个作业管家,把用户的大作业拆分成小作业,

对于小集群,NameNode跟JobTracker是可以运行在一个机器上的,但是随着集群中数据的增加,NameNode跟JobTracker是要运行在不同机器上的;

• TaskTracker
  小作业交给TaskTracker,以完成一个大的作业

所以我们在Hadoop集群的选择上要符合要求:

hadoop集群机器的选择

我们来分析一下啊,由于要储存海量数据,DataNode的数量肯定要很多,如何找到这些海量数据就需要NameNode,所以,NameNode所在的机器要有很高的可靠性,而DataNode所在的机器由于备份机制的存在,所以没有那么高要求;
另一个由于MR的TaskTracker,将小任务进行处理,TaskTracker可以跟DataNode位于同一节点上的;

所以DataNode /TaskTracker的硬件规格可以采用下面的方案

• 4个磁盘驱动器(单盘容量1-2T)支持JBOD
• 2个4核CPU主频至少2Ghz
• 16-24GB内存

机架

Hadoop集群的基准测试

• Hadoop自带的基准测试工具
• 用TestDFSIO基准测试来测试HDFS的IO性能
• 排序测试MR

hadoop启动后成功测试: