Hadoop搭建

Hadoop搭建

用到的文件

所有操作在root用户下进行
1.Centos7 X64位系统
2.Jdk8 x64位
3.Hadoop2.6.0 X64位
（版本位数尽量相同，不然后期会有较多报错，虽然不影响运行，但是看着不舒服）
Jdk8和hadooop2.6.0提取地址链接：https://pan.baidu.com/s/1J0B9cF_8-fNGJVF1ehzrOw 提取码：g56b

1.修改每个节点的主机名

vim /etc/hostname

2.在三个节点修改配置hosts文件
在hosts文件中分别配置三个节点的主机名ip地址映射

 vim /etc/hosts

在文件中添加

X.X.X.X	master
X.X.X.X	slave1
X.X.X.X	slave2

在master与slave之间配置ssh互信

1.在所有节点创建

ssh-keygen  -t  rsa

2.认证授权

cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys

3.文件赋权

 chmod  600  ~/.ssh/authorized_keys

4.分发到所有slave

scp  ~/.ssh/authorized_keys  root@slave1:~/.ssh 
scp  ~/.ssh/authorized_keys  root@slave2:~/.ssh 

5.关闭防火墙及防火墙自启

systemctl stop firewalld.service
systemctl disable firewalld.service

配置JDK

(先只配置master后续配置完hadoop再分发至slave)

解压jdk-8u191-linux-x64.tar.gz，指定到/usr/local/src

tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/src

为解压后的文件夹重命名

mv jdk1.8.0_191 jdk

修改环境变量

vim ~/.bash_profile

在文件末尾添加

export JAVA_HOME=/usr/local/src/jdk
export PATH=$JAVA_HOME/bin:$PATH

文件生效

source ~/.bash_profile

检查jdk版本

 java -version 

配置Hadoop

解压hadoop-2.6.0-cdh5.9.0.tar.gz，指定到/usr/local/src

tar -zxf hadoop-2.6.0.tar.gz -C /usr/local/src

为解压后的文件夹重命名

mv hadoop-2.6.0 hadoop

在master上配置环境变量

vim ~/.bash_profile

在文件末尾添加

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib

文件生效

source ~/.bash_profile

在hadoop/etc/hadoop/中修改以下文件

修改配置文件 hadoop-env.sh
在文件末尾添加

export JAVA_HOME=/usr/local/src/jdk
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_COMMON_LTB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib

修改配置文件 core-site.xml
在 中添加

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/src/hadoop/tmp</value>
</property>

修改配置文件 hdfs-site.xml
在 中添加

<property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/src/hadoop/tmp/dfs/name</value>
  </property>
 <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/src/hadoop/tmp/dfs/data</value>
 </property>
<property>
                <name>dfs.replication</name>
                <value>2</value>
 </property>

修改配置文件mapred-site.xml
将mapred-site.xml.template复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

在 中添加

<property>
        <name>mapreduce.farmework.name</name>
        <value>yarn</value>
</property>

修改配置文件yarn-site.xml
在 中添加

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>

配置slaves

vim slaves

将文件中东西全部删掉，并添加以下信息（一行一个）

master
slave1
slave2

分发到slave

scp  /usr/local/src  root@slave1:/usr/local/ 
scp  /usr/local/src  root@slave2:/usr/local/

———————至此配置完成，仔细检查配置确保无问题可启动

格式化HDFS

hdfs namenode -format 

启动

start-all.sh
 stop-all.sh

jps查看进程 master上存在 NameNode、ResourceManager、SecondaryNameNode进程
slave1和slave2上存在 DataNode、NodeManager进程