Centos Linux 安装单机 Hadoop（HDFS）

Centos Linux 安装单机 Hadoop（HDFS）

视频教程链接：https://www.bilibili.com/video/BV1we4y1z7VT/

1. Hadoop 简介

Hadoop 是一个开源的分布式计算和存储框架，是 Apache 基金会开发的，包含3个核心组件：

1. HDFS：全称是 Hadoop Distributed File System，即 Hadoop 分布式文件系统。可以将将大文件、大批量文件分块存储到大量服务器组成的集群上。

2. MapReduce：分布式运算框架，可以基于它编写 MapReduce 应用程序，对大规模数据集（大于1TB）进行并行运算；

3. Yarn：分布式资源调度管理器，可以运行 MapReduce 应用程序。

2. 准备工作

2.1. 拥有一台 Centos Linux 机器

参考文章：

《VMware 安装 Centos 7 Linux 虚拟机》（含b站视频教程链接）：

https://www.hanshuixin.com/app/blog/detail/839c494401839c52b7642c9380920001

2.2. Linux 安装好 JDK、配置好环境变量

参考文章：

《Centos Linux 安装 JDK 8、配置环境变量》（含b站视频教程链接）：

https://www.hanshuixin.com/app/blog/detail/839c494401839e49fa8a2c9380920002

2.3. 下载 Hadoop 安装包

Hadoop 官网：

https://hadoop.apache.org/

Hadoop 安装包下载链接（官网，下载慢）：

https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

Hadoop 安装包下载链接（清华大学开源软件镜像站，下载快）：

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

3. 安装

3.1. 上传安装包、解压、放到安装位置

将安装包 hadoop-3.3.4.tar.gz 上传到 /root/ 目录。

# 进入到root目录
cd /root
# 解压
tar -zxvf hadoop-3.3.4.tar.gz
# 创建安装目录
mkdir /usr/local/hadoop
# 将解压后的hadoop挪到创建的安装目录
mv /root/hadoop-3.3.4/ /usr/local/hadoop/
# 进入到安装目录
cd /usr/local/hadoop/hadoop-3.3.4/
# 查看
ll

3.2. 修改 Hadoop 配置文件

这里做“单节点-伪分布式”配置，可以参考官网配置：
https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/SingleCluster.html

3.2.1. 修改 core-site.xml

vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml

添加以下 3 项：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://127.0.0.1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!-- 自定义 hadoop 的工作目录 -->
                <value>/usr/local/hadoop/hadoop-3.3.4/tmp</value>
        </property>
        <property>
                <name>hadoop.native.lib</name>
                <!-- 禁用Hadoop的本地库 -->
                <value>false</value>
        </property>

3.2.2. 修改 hdfs-site.xml

vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/hdfs-site.xml

添加以下 1 项：

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>

3.2.3. 修改 yarn-site.xml

  vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/yarn-site.xml

添加以下 3 项：

       <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>127.0.0.1</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <!-- yarn web 页面 -->
               <value>0.0.0.0:8088</value>
       </property>
       <property>
               <name>yarn.nodemanager.aux-services</name>
               <!-- reducer获取数据的方式 -->
               <value>mapreduce_shuffle</value>
       </property>

3.2.4. 修改 mapred-site.xml

  vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/mapred-site.xml

添加以下 1 项：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

3.2.5. 修改 hadoop-env.sh

vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/hadoop-env.sh

在文件末尾添加：

# 将当前用户 root 赋给下面这些变量
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# JDK 安装路径，参考 cat /etc/profile |grep JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8.0_341

# Hadop 安装路径下的 ./etc/hadoop 路径
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.3.4/etc/hadoop

3.3. 配置 Hadoop 环境变量

# 编辑系统配置文件
vi /etc/profile

在末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使环境变量生效：

# 运行配置文件
source /etc/profile
# 检查 PATH 中是否包含 $HADOOP_HOME/bin:$HADOOP_HOME/sbin 对应的目录
echo $PATH

3.4. 修改hosts文件，将当前主机名配进去

# 查看当前主机名
hostname
# 此处结果为 CentOS7-1
# 修改 hosts 文件，将当前主机名配到 127.0.0.1 后面
vi /etc/hosts
# ping 当前主机名进行检测
ping CentOS7-1

3.5. 配置本机 ssh 免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

验证本机ssh到本机：

ssh root@127.0.0.1
# 不用输密码旧登录好了

3.6. 格式化 HDFS （首次启动前执行）

hdfs namenode -format

3.7. 启动 Hadoop

被执行的脚本是 /usr/local/hadoop/hadoop-3.3.4/sbin/start-all.sh，前面已经通过$HADOOP_HOME/sbin配置到环境变量中了，可以直接执行。

start-all.sh

4. 测试

4.1. HDFS 使用测试

• 在 HDFS 上创建目录

  hadoop fs -mkdir /test_1/
  # 查看
  hadoop fs -ls /
  

• 将本地文件上传到 HDFS

  # 新建文本文件
  vi test_file_1.txt
  # 向文本中写入字符串 123
  echo 123 >> test_file_1.txt
  # 将文本上传到 HDFS
  hadoop fs -put test_file_1.txt /test_1/
  # 查看文件
  hadoop fs -ls /test_1/
  

• 查看 HDFS 上的文本文件内容

  hadoop fs -cat /test_1/test_file_1.txt
  

• 将 HDFS 上的文件下载到本地

  # 先删除本地的同名文件
  rm -f test_file_1.txt
  ll
  # 将 HDFS 上的文件下载到本地
  hadoop fs -get /test_1/test_file_1.txt
  

4.2. Hadoop Web 页面测试

# 防火墙放行 9870 tcp 端口
firewall-cmd --zone=public --add-port=9870/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

浏览器访问部署机器IP:9870：

http://192.168.10.31:9870

4.3. Yarn Web 页面测试

# 防火墙放行 8088 tcp 端口
firewall-cmd --zone=public --add-port=8088/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

浏览器访问部署机器IP:8088：

http://192.168.10.31:8088