Ubuntu中实现Hadoop集群

hadoop集群

准备工作：
具体查看同专栏
初入Ubuntu常见问题以及集群前的必要配置（1）
初入Ubuntu常见问题以及集群前的必要配置（2）
1、装系统
2、配置网络
3、虚拟机改名
4、配置hostname文件
3、APT软件源配置
6、安装openssh-server
7、关闭防火墙

java安装（以主节点为例）

1、上传jdk安装包，并解压

这里我直接用rz命令上传文件，不再用winscp，若想了解请看《云计算与大数据》专栏

先下载lrzsz工具

hadoop@ddai-master:~$ sudo apt install lrzsz

下载好后直接执行 rz 命令，会跳出文件选择的窗口，直接选择需要的即可（不适合比较大的文件，传送起来会比较慢）

传送好后查看：

解压到opt/目录下

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/jdk-8u221-linux-x64.tar.gz -C /opt/

所有节点修改文件属性

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/  

2、所有节点编辑环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile 

#添加
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH

3、复制到从节点

hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave1:/opt/
hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave2:/opt/

4、使各节点jdk环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile 

5、测试

hadoop@ddai-master:~$ java -version
hadoop@ddai-master:~$ javac -version 

hadoop安装

1、上传hadoop安装包，并解压

用 rz 命令打开上传窗口，直接点击要上传的包

执行解压

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/hadoop-2.8.5.tar.gz -C /opt/

2、所有节点编辑hadoop环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile 
hadoop@ddai-slave1:~$ vim /home/hadoop/.profile 
hadoop@ddai-slave2:~$ vim /home/hadoop/.profile 


export HADOOP_HOME=/opt/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

3、使所有节点hadoop环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile 
hadoop@ddai-slave1:~$ source /home/hadoop/.profile 
hadoop@ddai-slave2:~$ source /home/hadoop/.profile 

4、编辑hadoop配置文件（6个）

（1）hadoop-env.sh

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hadoop-env.sh 

（2）core-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/core-site.xml 

#内容如下
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ddai-master:9000</value> 
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.8.5/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

（3）hdfs-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hdfs-site.xml 

#内容如下
<configuration>  
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>ddai-master:50090</value>
  </property>
  
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/name</value>
  </property>
  
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/data</value>
  </property>
  
  <property>
    <name>fs.checkpoint.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/namesecondary</value>
  </property>
  
  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>20</value>
  </property>
  
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

</configuration>

（4）mapred-site.xml

hadoop@ddai-master:~$ sudo mv /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml
hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml 

#先进行修改文件名，再添加内容如下
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>ddai-master:10020</value>
  </property>
  
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ddai-master:19888</value>
  </property>
</configuration>

（5）yarn-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/yarn-site.xml

#内容如下 
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ddai-master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

（6）slaves

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/slaves

#内容如下 
ddai-slave1
ddai-slave2

5、复制到从节点

hadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave1:/opt
hadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave2:/opt

6、修改文件属性

所有节点执行修改属性命令

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/*
hadoop@ddai-slave1:~$ sudo chown -R hadoop:hadoop /opt/*
hadoop@ddai-slave2:~$ sudo chown -R hadoop:hadoop /opt/*

hadoop启动测试

1、格式化namenode

hadoop@ddai-master:~$ hdfs namenode -format

成功后为如下显示：

2、启动hadoop

若要关闭执行命令

stop-all.sh

3、启动jobhistoryserver

若要关闭执行

mr-jobhistory-daemon.sh stop historyserver

4、查看各节点进程

5、查看对应网址（两个）

6、查找DFS报告和文件块检查

DFS报告如下

文件块检查如下

Hadoop shell

在HDFS中创建目录，并写入文件上传查看

创建写入：

上传查看文件：