Hadoop集群的搭建

1、进入/opt/module/ hadoop-3.1.4/

2、建立data文件夹

3、编辑 vi core-site.xml

         hdfs-----分布式文件系统   namenode datanode

        MapReduce---分布式计算框架

        Yarn-----资源调度管理平台 rescourcemanager nodemanager

master	slave1	slave2
namenode	datanode	datanone
datanone	rescourcemanager	nodemanager
nodemanager	nodemanage	secondarynamenode

4、编辑vi core-site.xml、

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<!--指定hdoop数据的存储位置-->
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.4/data</value>
</property>
<property>
<!--指定hdoop数据的存储位置-->
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
</configuration>

    

5、编辑vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:9868</value>
</property>
<property>
<name>dfs.permissions</name>    
<value>false</value>
</property>
</configuration>

6、编辑vi mapred-site.xml

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

7、编辑vi yarn-site.xml(<name>yarn.application.classpath的<value>中的内容通过hadoop classpath查询)

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>
/opt/module/hadoop-3.1.4/etc/hadoop:/opt/module/hadoop-3.1.4/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.4/share/hadoop/common/*:/opt/module/hadoop-3.1.4/share/hadoop/hdfs:/opt/module/hadoop-3.1.4/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.4/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.4/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.4/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.4/share/hadoop/yarn:/opt/module/hadoop-3.1.4/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.4/share/hadoop/yarn/*
</value>
</property>
<!--是否将对容器实施虚拟内存限制-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>

8、编辑vi worker

master
slave1
slave2

9、修改环境变量设置(vi /etc/profire.d/my_env.sh)

#jdk环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
#hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH



export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

10、复制前四行于start-dfs.sh、stop-dfs.sh中的头部

        复制后两行于start-yarn、stop-yarn.sh中的头部

11、hdfs namenode-format        文件系统格式化

12、开启Hadoop平台

        start-dfs.sh(主节点:master)        启动hdfs

        start-yarn.sh(主节点:slave1)        启动yarn

        mapred --daemon start historyserver        启动日志服务

13、安全模式

        hdfs dfsadmin -safemode get        查看安全模式状态

        hdfs dfsadmin -safemode enter        开启安全模式

        hdfs dfsadmin -safemode leave        关闭安全模式

14、hdfs dfsadmin -report        查看HDFS系统资源信息

        hdfs dfsadmin -report -live        查看在线节点信息

        hdfs dfsadmin -report -dead        查看宕机节点信息