Centos7 Hadoop3.1 集群安装

jdk已安装好

Centos7安装jdk1.8_Atraceofviciss的博客-CSDN博客

配置主机名称 

vim /etc/hosts

关闭防火墙

systemctl status firewalld  //防火墙状态
systemctl stop firewalld  //关闭
systemctl disable firewalld  //永久关闭
iptables -I INPUT -p tcp --dport 9870 -j ACCEPT //打开指定端口
iptables -I INPUT -p tcp --dport 9870 -j DROP //关闭指定端口
service iptables save //保存配置
service iptables restart //重启防火墙

配置网卡

仅主机模式：VMware network 1

将主机网卡分享给network 1

 设置network 1 的IP地址

 配置虚拟机网络 vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static

ONBOOT=yes

IPADDR=要设置的IP地址

GATEWAY=网关

要上网DNS得有

 配置完成

ssh免密登录

生成公私钥

ssh-keygen -t rsa

拷贝到本机其他机器

ssh-copy-id -i ~/.ssh/id_rsa.pub root@（ip地址）

安装hadoop

将JAVA_HOME配置到hadoop-env.sh/yarn-env.sh

export JAVA_HOME=/java/jdk1.8.0_271

配置core-site.xml：(xxx:主机名称)

  <configuration>  
      <property>  
        <name>fs.default.name</name>  
        <value>hdfs://xxx:9000</value>  
      </property>  
      <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/hadoop/tmp</value>  
      </property>  
    </configuration> 

配置hdfs-site.xml

<configuration>
      <property>
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/dfs/name</value>    
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/dfs/data</value>    
      </property> 
</configuration>

配置mapred-site.xml

<configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
     <property>
        <name>mapred.job.tracker.http.address</name>
        <value>root1:50030</value>
     </property>
     <property>
        <name>mapred.task.tracker.http.address</name>
        <value>root1:50060</value>
     </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>xxx:10020</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>xxx:19888</value>  
      </property> 
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>xxx:8032</value>  
      </property>  
      <property>  
    <name>yarn.resourcemanager.scheduler.address</name>  
        <value>xxx:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>xxx:8031</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>xxx:8033</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>xxx:8088</value>
      </property>
     <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
</configuration>

配置workers：

节点主机名称或IP

分发给其他节点：

scp -r /opt/hadoop slave1:/opt/hadoop

初始化

bin/hdfs namenode -format

启动报：未指定HDFS_NAMENODE_USER：vim hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

启动
全部启动sbin/start-all.sh （sbin/start-dfs.sh、sbin/start-yarn.sh）

启动历史记录：mapred --daemon start historyserver
终止服务器：sbin/stop-all.sh

查看进程
jps

netstat -apn

hadoop3.0以上，管理界面端口改变端口

[hadoop]:9870

[yarn]:8088

[JobHistory]:19888

配置hadoop环境变量 vim /etc/profile   生效：source /etc/profile

export HADOOP_HOME=/hadoop/hadoop-3.1.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native