Hadoop-全分布式

Hadoop2全分布式搭建

主机名	IP地址
master	192.168.100.100
slave1	192.168.100.101
slave2	192.168.100.102
slave3	192.168.100.103

配置文件

hadoop-env.sh

# hadoop运行依赖文件（依赖JDK）
 export JAVA_HOME=/usr/local/apps/jdk1.8.0_161

core-site.xml

<configuration>
	<!-- hadoop hdfs访问地址（默认端口：8020） -->
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://master</value>
	</property>
	
	<!-- 保存hadoop初始化文件（默认位置：/tmp/） -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/apps/hadoop-2.6.0-cdh5.7.0/mydir/tmp</value>
	</property>
</configuration>

hdfs-site.xml

<configuration>
		<!-- 备份副本数 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
		
		<!-- 声明nameNode保存位置 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/apps/hadoop-2.6.0-cdh5.7.0/mydir/nn</value>
        </property>
		
		<!-- 声明dataNode保存位置 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/apps/hadoop-2.6.0-cdh5.7.0/mydir/dn</value>
        </property>
		
		<!-- 关闭权限验证 -->
		<property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
	<!-- 声明MR资源调度由YARN管理 -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
	<!-- 声明YARN主节点 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>

	<!-- YARN资源调度策略mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

slaves

slave1
slave2
slave3