hadoop集群配置文件

1.进程详情

2.集群配置

配置文件的位置：hadoop安装目录下的etc/hadoop里边

2.1 配置core-site.xml

vi core-site.xml

在该文件下添加如下的配置信息：

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2.2 hadoop-env.sh

vi  hadoop-env.sh

修改或直接添加（java就是安装的java的路径）：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.3 hdfs-site.xml

vi hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop103:50090</value>
</property>

2.4 yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.5 yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop102</value>
</property>

2.6 mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.7 配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

2.8 编辑slaves(namenode的节点)

vi slaves

要特别注意这文件里边除了主机名称，不允许有其他的符号。空格，空行。有严格的格式，否则最后会出错。

hadoop101
hadoop102
hadoop103

2.1特别说明

1.要根据自己的实际情况对配置文件进行修改，比如你的三个节点不是hadoop101,hadoop102,hadoop103,而是master,slave1,slave2.那么配置文件中的hadoop101,hadoop102,hadoop103进行更改。

2.同时你也可以不安照这个进行配置，把ResourceManager，secondary，装在和namenode一起。

3.centos7克隆

3.1到现在我们只是配置好了一台虚拟机，因为创建的是集群。并不能直接的运行，要进行克隆。
首先我们克隆好另外的两台：hadoop102,hadoop103

3.2配置
克隆好了之后我们更改ip，主机名

更改ip:

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

#这个只用更改这个就行
IPADDR=192.168.2.131

#分别改为
IPADDR=192.168.2.132
IPADDR=192.168.2.133

更改主机名称(这里边也是严格的格式要求，除了主机名称不能有其他的符号，空格):

sudo vim /etx/hostname

分别是：hadoop102 hadoop103

下一步：ssh与集群群起