Hadoop 分布式配置(2.10.0)

Hadoop (2.10.0) 分布式配置

架构

• 服务器架构

配置

• core-site.xml 配置
• hadoop-env.sh 配置
• hdfs-site.xml 配置
• yarn-env.sh 配置
• yarn-site.xml 配置
• mapred-site.xml 配置

启动

• 格式化HDFS
• 启动NameNode
• 启动DataNode
• 启动SecondaryNameNode

集群群启

• 配置集群群启

访问

• 访问Hadoop管理平台

服务器架构

	server-7	server-8	server-9
HDFS	DataNode, NameNode	DataNode	DataNode, SecondaryNameNode
YARN	NodeManager	NodeManager, Resourcemanager	NodeManager

core-site.xml 配置

进入 Hadoop 目录:
# cd /alidata/server/hadoop/hadoop-2.10.0

编辑 core-site.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/core-site.xml

<configuration>
	<!-- 指定 HDFS 中 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://server-7:9000</value>
    </property>

	<!-- 指定 Hadoop 运行时产生的文件目录, 默认目录: /tmp/hadoop-${user.name} -->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/alidata/server/hadoop/hadoop-2.10.0/data/tmp</value>
    </property>
</configuration>

hadoop-env.sh 配置

首先查看 JAVA_HOME 环境变量:
# echo $JAVA_HOME
/alidata/server/java/jdk1.8.0_65

编辑 hadoop-env.sh 文件:
# vim etc/hadoop/hadoop-env.sh

# 大约在 25 行.
export JAVA_HOME=${JAVA_HOME} #改为
export JAVA_HOME=/alidata/server/java/jdk1.8.0_65

hdfs-site.xml 配置

编辑 hdfs-site.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/hdfs-site.xml

<configuration>
	<!-- 配置 HDFS 的备份文件数量, 默认数量是3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 指定 Hadoop 辅助名称节点主机配置-->
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>server-9:50090</value>
     </property>
</configuration>

yarn-env.sh 配置

编辑 yarn-env.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/yarn-env.sh

yarn-site.xml 配置

编辑 yarn-env.xml 文件:
# vim hadoop-2.10.0/etc/hadoop/yarn-site.xml

<configuration>
	<!-- Reducer 获取数据的方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<name>mapreduce_shuffle</name>
	</property>
	<!-- 指定 YARN 的 ResourceManager 的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<name>server-8</name>
	</property>
</configuration>

mapred-site.xml 配置

复制 mapred-site.xml 文件
# cp hadoop-2.10.0/etc/hadoop/mapred-site.xml.template hadoop-2.10.0/etc/hadoop/mapred-site.xml

编辑 mapred-site.xml 文件
# vim hadoop-2.10.0/etc/hadoop/mapred-site.xml

<configuration>
	<!-- 指定 Mapreduce 运行在 YARN 上-->
	<property>
		<name>mapreduce.framework.name</name>
		<name>yarn</name>
	</property>
</configuration>

格式化HDFS

第一次启动. 可以格式化, 它会帮你检查配置和创建数据文件:
# sh hadoop-2.10.0/bin/hdfs namenode -format
或者
# hadoop namenode -format

启动NameNode(建议使用群启配置 ↓ ↓ ↓ )

# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start namenode
根据集群配置: Server-7 需启动
查看是否成功启动:
# jps

启动DataNode(建议使用群启配置 ↓ ↓ ↓ )

# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start datanode
根据集群配置: Server-7, Server-8, Server-9 需启动

查看是否成功启动:
# jps

启动SecondaryNameNode(建议使用群启配置 ↓ ↓ ↓ )

# sh hadoop-2.10.0/sbin/hadoop-daemon.sh start secondarynamenode
查看是否成功启动:
# jps

配置集群群启

编辑 slaves 文件
# vim hadoop-2.10.0/etc/hadoop/slaves

server-7
server-8
server-9

根据集群配置, 需修改 Server-7, Server-8, Server-9 的配置, 配置内容相同

群体启动
进入sever-7
# sh hadoop-2.10.0/sbin/start-dfs.sh

进入server-8
# sh hadoop-2.10.0/sbin/start-yarn.sh

访问Hadoop管理平台

#管理平台地址
http://localhost:50070/