CentOS7 从零开始搭建 Hadoop2.7集群

序言

• 下载软件与工具包
  
  • pscp.exe : 用于从本地到目标机器的文件传输
  • hadoop-2.7.3.targ.gz: Hadoop 2.7 软件包
  • JDK 1.8: Java 运行环境
• 准备四台安装好CentOS Minimal 的机器，且已经配置网络环境。（只需要记住四台机器的IP地址，主机名后面设置）
  
  • 机器1： 主机名 node， IP: 192.168.169.131
  • 机器1： 主机名 node1， IP: 192.168.169.133
  • 机器1： 主机名 node2， IP: 192.168.169.132
  • 机器1： 主机名 node3， IP: 192.168.169.134

文件准备

1. 添加用户组与用户

   groupadd hadoop
   useradd -d /home/hadoop -g hadoop hadoop

2. 复制本机文件到目标机器

   pscp.exe -pw 12345678 hadoop-2.7.3.tar.gz root@192.168.169.131:/usr/local 
   
   pscp.exe -pw 12345678 spark-2.0.0-bin-hadoop2.7.tgz root@192.168.169.131:/usr/local
   

3. 解压并复制文件

   tar -zxvf  /usr/local/jdk-8u101-linux-x64.tar.gz
   
   
   #重命名
   
   mv /usr/local/jdk1.8.0_101 /usr/local/jdk1.8
   
   tar -zxvf /usr/local/hadoop-2.7.3.tar.gz
   
   mv /usr/local/hadoop-2.7.3 /home/hadoop/hadoop2.7
   

权限修改

1. 修改夹所有者

   chmod -R hadoop:hadoop /home/hadoop/hadoop2.7

2. 修改组执行权限

   chmod -R g=rwx /home/hadoop/hadoop2.7

配置系统环境

1. 配置系统变量

       echo 'export JAVA_HOME=/usr/local/jdk1.8' >> /etc/profile
   
       echo 'export JRE_HOME=$JAVA_HOME/jre' >> /etc/profile
   
       echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile
   
       echo 'export HADOOP_HOME=${hadoopFolder}' >> /etc/profile
   
       echo 'export PATH=$HADOOP_HOME/bin:$PATH' >> /etc/profile
   
       source /etc/profile
   
   

2. 配置主机域名

   hostname node #当前机器名称
   echo NETWORKING=yes >> /etc/sysconfig/network
   
   echo HOSTNAME=node >> /etc/sysconfig/network #当前机器名称，避免重启主机名失效
   
   echo '192.168.169.131 node' >> /etc/hosts
   echo '192.168.169.133 node1' >> /etc/hosts
   echo '192.168.169.132 node2' >> /etc/hosts
   echo '192.168.169.134 node3' >> /etc/hosts

3. 关闭防火墙

   systemctl stop firewalld.service
   systemctl disable firewalld.service

配置Hadoop集群

1. 修改配置文件

   sed -i 's/\${
        JAVA_HOME}/\/usr\/local\/jdk1.8\//' $HADOOP_HOME/etc/hadoop/hadoop-env.sh
   
   sed -i 's/# export JAVA_HOME=\/home\/y\/libexec\/jdk1.6.0\//export JAVA_HOME=\/usr\/local\/jdk1.8\//'  $HADOOP_HOME/etc/hadoop/yarn-env.sh
   
   sed -i 's/# export JA