Linux环境搭建Hadoop及完全分布式集群_hdfs分布式环境搭建

修改文件：

fs.defaultFS：该参数是配置指定HDFS的通信地址。

hadoop.tmp.dir：该参数配置的是Hadoop临时目录

fs.defaultFS hdfs://hadoop100:9000 hadoop.tmp.dir /opt/hadoopTmp/

配置hdfs-site.xml

打开文件

vi etc/hadoop/hdfs-site.xml

修改文件：

dfs.namenode.http-address：该参数是配置NameNode的http访问地址和端口号。因为在集群规划中指定hadoop100设为NameNode的服务器，故设置为hadoop100:9870。

dfs.namenode.secondary.http-address：该参数是配置SecondaryNameNode的http访问地址和端口号。在集群规划中指定hadoop102设为SecondaryNameNode的服务器，故设置为hadoop102:50090。

dfs.replication：该参数是配置HDFS副本数量，建议不超过从节点数。

dfs.namenode.name.dir：该参数是设置NameNode存放的路径。

dfs.datanode.data.dir：该参数是设置DataNode存放的路径。

dfs.namenode.http-address hadoop100:9870 dfs.namenode.secondary.http-address hadoop102:50090 dfs.replication 2 dfs.namenode.name.dir /opt/hadoopTmp/dfs/name dfs.datanode.data.dir /opt/hadoopTmp/dfs/data

配置yarn-site.xml

打开文件

vi etc/hadoop/yarn-site.xml

修改文件：

参数说明：

yarn.resourcemanager.hostsname：该参数是指定ResourceManager运行在那个节点上。

yarn.resourcemanager.webapp.address：该参数是指定ResourceManager服务器的web地址和端口。

yarn.nodemanager,aux-services：该参数是指定启动时加载server的方式。

yarn.nodemanager.aux-services.mapreduce.shuffle.class：该参数是指定使用mapred