Hadoop 分布式集群搭建(极度重点)

Hadoop 分布式集群搭建(极度重点)

3.1 搭建目标

因为机子硬件的限制（这里 Cris 的电脑为 16G 内存），只好进行如下环境搭建

实际上搭建完整的环境至少需要六台虚拟机，由于条件所限，这里就勉为其难的凑合成3台
具体的各个组件的名称以及每个节点的 身份 这里不再介绍，如果不懂请 Google

3.2 搭建流程

101，102，103 号机子都有自己的 Java 和 Hadoop 环境，这里我们选择 101 号作为
Hadoop 环境配置的主机，配置完毕后直接同步到 102，103 号机即可

①、核心配置文件

这里Cris 先设置一下权限，必须确保 /opt/software 和 /opt/module 的所属人和所属组都是 cris

认真按照前两章搭配是没有这个问题的，知悉
修改核心配置文件 core-site.xml

修改HDFS 配置文件

hadoop-env.sh

hdfs-site.xml
输入 vim hdfs-site.xml ，修改如下：

修改YARN 配置文件

yarn-env.sh

yarn-site.xml

MapReduce配置文件

mapred-env.sh

mapred-site.xml

配置历史服务器
为了查看程序的历史运行情况，输入 vim mapred-site.xml

配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查
看到程序运行详情，方便开发调试.
输入 vim yarn-site.xml

②、在集群上分发配置好的Hadoop配置文件

查看102 和 103 的文件是否同步成功
102

103

③、集群单点启动

格式化

101上启动NameNode

101，102，103 分别启动 DataNode

个人建议搭建完毕后单个节点先跑一遍，出现问题及时发现和解决
然后停止单点服务

3.3 启动集群

配置slaves

然后同步该文件

启动集群并测试

访问对应的web 网页

over 看下一篇噢