Hadoop平台搭建--05分布式搭建

hadoop配置文件

1、 配置core-site.xml文件（配置完需要格式化namenode
（hdfs namenode -format） 然关闭namenode,再重启namenode）

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
		<description>A base for othertemporary directories.</description>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
</property>

说明：core-site.xml 是Hadoop 的全局配置文件，
fs.defaultFS 默认文件系统的名称，URI形式，默认是文本文件系统
hadoop.tmp.dir Hadoop 的临时目录，其他目录会基于此路径，是本地目录
不修改就会存在系统的 /tmp 目录中，系统的/tmp目录在重启的时候，会不定时清理，所以要修改防止Hadoop出错

2） 配置hdfs-site.xml文件

<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<!--  replication 是数据副本数量，默认为3，salve少于3台就会报错 -->

<!--windows上的权限系统和Linux上的权限系统，测试期间为了简单起见可以关闭权限检查，在namenode的dfs-site.xml上，添加配置： -->
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
</property>

4）配置mapred-site.xml文件
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
</property

5）配置yarn-site.xml文件

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
       <name>yarn.resourcemanager.address</name>
       <value>master:8032</value>
</property>
<property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>master:8030</value>
</property>
<property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>master:8031</value>
</property>

6）配置slaves (slaves是配置 datanode master 是配置secondyNamenode)

克隆三个虚拟机slave1、slave2、slave3

1、修改slave1主机名

2、修改slave1的IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eno16777728
修改IPADDR那项

3、重启网络服务service network restart
4、重复上述操作，配置完成slave2、slave3。
5、检查是否能ping通。

建立IP映射

1、关闭防火墙：systemctl disable firewalld.service
2、vim /etc/hosts

3、ping slave3 看ping主机名是否能ping通

免密登录

1、在root用户下输入ssh-keygen -t rsa 一路回车

2、cd ~/.ssh

3、ssh-copy-id slave1
向slave1、slave2、slave3，以及自身发送公钥

4、发送成功，会显示authorized_keys

5、成功

HDFS运行

1、 格式化namenode
hdfs namenode –format
首次启动HDFS时，必须对其进行格式化操作
格式化本质是进行文件系统的初始化操作，创建一些自己所需要的文件
格式化之后 集群启动成功 后续再也不需要进行格式化
格式化的操作在hdfs集群的主角色（namenode）所在机器上操作
hdfs namenode -format

2、 dfs和yarn集群脚本（也可以用start-all.sh启动hdfs和yarn）
start-dfs.sh

start-yarn.sh

3、jps查看启动的节点


出现上述结果就是搭建成功

有节点启动不了的解决办法：
删除每个系统中Hadoop文件夹下面的/tmp文件夹里面的内容，然后重新格式化namenode

上一篇：Hadoop平台搭建–04搭建Hadoop环境
下一篇：Hadoop平台搭建–06hive搭建