centos7+hadoop2.7.4集群搭建

安装JDK（每台都需要安装）

1.下载jdk
官网下载

2.安装jdk

将jdk压缩包解压，解压到/opt/java目录下

3.java环境变量配置

echo 'export JAVA_HOME=/opt/java/jdk1.8.0_212' > /etc/profile.d/java8.sh
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile.d/java8.sh
source /etc/profile.d/java8.sh 

4.检查jdk是否安装成功

java -version

ssh免密登录设置

假设主机为node1
从机为node2、node3
在主机node1上进行一下操作
1.主机下生成公钥和秘钥

ssh-keygen -t rsa   

2.讲公钥复制到被登录的主机上

ssh-copy-id hostname   例如：ssh-copy-id  node2

hadoop安装和配置（每台都需要）

1.下载hadoop安装包
官网下载

2.解压安装包

将安装包解压到自定义目录中，例如/root/hadoop

3.hadoop配置
进入到配置文件目录下hadoop-2.7.4/etc/hadoop
首先修改slaves文件
将主机名写入到slaves文件中

1.Core-site.xml

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.31.105:9000</value>
  </property>

  <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
  </property>
</configuration>

2.Hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:50090</value>
    </property>
</configuration>  

3.mapred-site.xml

<configuration>
<property>

        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

4.yarn-site.xml

<configuration>
  <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
  </property>

  <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>
</configuration>