hadoop3.0 非高可用安装

伪分布式集群，不依赖zookeeper的hadoop集群
只有namenode, 和datanode, 可以有两个namenode.
没有zookeeper, 没有zkfc, 没有journalnode.
只在学习的时候使用, 生存环境不适用 .

生产环境用的高可用集群见 https://blog.csdn.net/weijiqian/article/details/137157513

1 修改主机名链接

 vim /etc/hosts

 192.168.110.10  master
 192.168.110.11  slave1
 192.168.110.12  slave2

2关闭防火墙

关闭：

[root@master ~]# systemctl stop firewalld.service

禁止开机启动：

[root@master ~]# systemctl disable firewalld.service

查看状态：

[root@master ~]# firewall-cmd --state

3 配置免密登录

注意：master、slave1和slave2都要在root下进行操作
master 要免密登录 slave1 和slave2.

在master上
1、生成公钥，一路enter选择默认
ssh-keygen -t rsa
2、公钥拷贝到slave1上并授权
ssh-copy-id slave1
这里首先输入 yes 确认， 然后输入 slave1的密码

3、确认能免密登录
ssh slave1
退出：logout或exit

同理 slave2.

4. jdk的安装

下载jdk， 并解压到目录 /usr/local/java
配置环境变量

 vim /etc/profile

JAVA_HOME=/usr/local/java/jdk1.8.0_45
JRE_HOME=/usr/local/java/jdk1.8.0_45/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME 
export JRE_HOME 
export CLASS_PATH 
export PATH

使环境变量生效

[root@master ~]# source /etc/profile
[root@master ~]# java -version

5. hadoop安装

解压

解压到目录 /usr/local/

tar -zxvf hadoop-3.1.0.tar.gz -C /usr/local/

配置环境变量

[root@master ~]# vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使变量生效

[root@master ~]# source /etc/profile

修改配置文件 workers

进入目录

[root@master hadoop]# cd /usr/local/hadoop-3.1.0/etc/hadoop/

以下配置文件都在这个目录下面

[root@master hadoop]# vim workers
master
slave1
slave2

修改配置文件hadoo-env.sh

[root@master hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export HADOOP_HOME=/usr/local/hadoop-3.1.0
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改配置文件core-site.xml

[root@master hadoop]# vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

## 修改配置文件hdfs-site.xml
[root@master hadoop]# vim hdfs-site.xml
<property>
   <name>dfs.name.dir</name>
   <value>/data/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/data/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>

<property>
<name>dfs.namenode.rpc-address</name>
<value>master:9000</value>
</property>

<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>

<!--配置HDFS的冗余度,默认是3，这里配成1 -->
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property> 

<!--配置是否检查权限 -->
 
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property> 

注意
fs.defaultFS 的端口号 是9000
那么 dfs.namenode.rpc-address 的端口号，也要是9000

修改配置文件yarn-site.xml

[root@master hadoop]# vim yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

修改配置文件mapred-site.xml

[root@master hadoop]# vim mapred-site.xml

 <property>
    <name>mapred.job.tracker</name>
    <value>master:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/data/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

复制到slave1 和 slave2上面

scp -r /usr/local/hadoop-3.1.0 root@slave1:/usr/local
scp -r /usr/local/hadoop-3.1.0 root@slave2:/usr/local

格式化节点

[root@master ~]# cd /usr/local/hadoop-3.1.0/sbin/

格式化节点

[root@master sbin]# hdfs namenode -format

运行后不报错并在倒数四五行出现successfully即为格式化节点成功
注意：在没有出现错误的情况下，节点格式化一次即可

启动hadoop集群

有两种启动方式,选择一种就可以.
● 一键启动
在master上面执行

[root@master sbin]# ./start-all.sh

● 分开启动

[root@master sbin]# ./hadoop-daemon.sh start datanode
[root@master sbin]# ./hadoop-daemon.sh start namenode

页面查看

http://master:9870