Hadoop完全分布式及相应组件的搭建

魚y

已于 2024-04-28 14:38:02 修改

阅读量864

点赞数 7

文章标签：分布式

于 2024-04-22 17:41:22 首次发布

本文链接：https://blog.csdn.net/m0_74749094/article/details/137926667

版权

在 Master 节点上安装 Hadoop

添加 root 用户从本地和远程访问 MySQL 数据库表单的授权。

配置 Hive 组件

（1）设置 Hive 环境变量并使其生效。

（2）修改 Hive 组件配置文件。

（3）通过 vi 编辑器修改 hive-site.xml 文件实现 Hive 连接 MySQL 数据库，并设定

Hive 临时文件存储路径。

（1）设置 MySQL 数据库连接。

（2）配置 MySQL 数据库 root 的密码。

（3）验证元数据存储版本一致性。若默认 false，则不用修改。

（4）配置数据库驱动。

（5）配置数据库用户名 javax.jdo.option.ConnectionUserName 为 root。

（6 ）将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。

（7）在 Hive 安装目录中创建临时文件夹 tmp。

初始化 hive 元数据

1）将 MySQL 数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到

Hadoop搭建

准备三台虚拟机

分别命名为master、slave1、slave2，然后使用bash命令刷新一下，最后使用hostname命令查看是否修改成功

hostnamectl set-hostname master

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

设置域名解析

vi /etc/hosts

查看SSH服务的状态

systemctl status sshd

关闭防火墙

systemctl stop firewalld

查看防火墙状态，检查防火墙是否关闭成功

systemctl status firewalld

看到 inactive (dead)表示防火墙已经关闭。不过这样设置后，Linux 系统如果重启，防火墙仍然会重新启动。执行如下命令可以永久关闭防火墙。

systemctl disable firewalld

创建hadoop用户

useradd hadoop

更改用户 hadoop 的密码。 passwd：所有的身份验证令牌已经成功更新。

echo "1" |passwd --stdin hadoop

安装JAVA环境

卸载自带的OpenJDK

rpm -qa | grep java

卸载相关服务

rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64

rpm -e --nodeps tzdata-java-2022e-1.el7.noarch

rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.352.b08-2.el7_9.x86_64

检查是否清空

rpm -qa | grep java

查看删除结果再次键入命令 java -version 出现以下结果表示删除功

java --version

在/opt/software目录下事先准备好软件包，将安装包解压到/usr/local/src目录下

tar -zxvf /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

进入目录查看是否安装成功

ls /usr/local/src/

设置JAVA环境变量

vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

source /etc/profile

检查 JAVA 是否可用。

echo $JAVA_HOME

使用如下命令显示 Java 版本则说明 JDK 安装并配置成功。

java -version

安装Hadoop软件

获取Hadoop安装包

Apache Hadoop 各个版本的下载网址： https://archive.apache.org/dist/hadoop /common/。本教材选用的是 Hadoop 2.7.1 版本，安装包为 hadoop-2.7.1.tar.gz。需要先下载 Hadoop 安装包，再上传到 Linux 系统的/opt/software 目录。

解压安装包到/usr/local/src/目录下

tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/

检查目录

ll /usr/local/src/

查看 Hadoop 目录

ll /usr/local/src/hadoop/

解析：

bin：此目录中存放 Hadoop、HDFS、YARN 和 MapReduce 运行程序和管理软件。

etc：存放 Hadoop 配置文件。

include: 类似 C 语言的头文件

lib：本地库文件，支持对数据进行压缩和解压。

libexe：同 lib

sbin：Hadoop 集群启动、停止命令

share：说明文档、案例和依赖 jar 包。

设置Hadoop环境变量

修改/etc/profile 文件

vi /etc/profile

在文件的最后增加如下两行：

export HADOOP_HOME=/usr/local/src/hadoop-2.7.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行 source 使用设置生效：

source /etc/profile

检查设置是否生效：

hadoop

出现上述 Hadoop 帮助信息就说明 Hadoop 已经安装好了。

修改目录所有者和所有者组，上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。

chown -R hadoop:hadoop /usr/local/srv

ll /usr/local/src/

/usr/local/src 目录的所有者已经改为 hadoop 。

安装单机版Hadoop系统

设置Hadoop配置文件

cd /usr/local/src/hadoop/

vi etc/hadoop/hadoop-env.sh

在文件中查找 export JAVA_HOME 这行，将其改为如下所示内容:

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

测试Hadoop本地模式的运行

切换到Hadoop用户

su - hadoop

创建输入数据存放目录,将输入数据存放在~/input 目录（hadoop 用户主目录下的 input 目录中）。

mkdir ~/input

创建数据文件 data.txt，将要测试的数据内容输入到 data.txt 文件中。

vi input/data.txt

测试 MapReduce 运行

hadoop jar /usr/local/src/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output

运行结果保存在~/output 目录中(注：结果输出目录不能事先存在)，命令执行后查看结果：

ll output/

文件_SUCCESS 表示处理成功，处理的结果存放在 part-r-00000 文件中，查看该文件。

cat output/part-r-00000

可以看出统计结果正确，说明 Hadoop 本地模式运行正常。

配置实验环境下集群网络

vi /etc/hosts

SSH无密码验证配置

每个节点安装和启动 SSH 协议，

实现 SSH 登录需要 openssh 和 rsync 两个服务，一般情况下默认已经安装（如没有自行安装），可以通过下面命令查看结果。

rpm -qa | grep openssh

rpm -qa | grep rsync

切换到 hadoop 用户

su - hadoop

每个节点生成秘钥对

#在 master 上生成密钥

ssh-keygen -t rsa

#slave1 生成密钥

ssh-keygen -t rsa

#slave2 生成密钥

ssh-keygen -t rsa

查看"/home/hadoop/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。

ls ~/.ssh/

将 id_rsa.pub 追加到授权 key 文件中

#master

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ls ~/.ssh/

#slave1

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ls ~/.ssh/

#slave2

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ls ~/.ssh/

修改文件"authorized_keys"权限

通过 ll 命令查看，可以看到修改后 authorized_keys 文件的权限为“rw-------”，表示所有者可读写，其他用户没有访问权限。如果该文件权限太大，ssh 服务会拒绝工作，出现无法通过密钥文件进行登录认证的情况。

#master

chmod 600 ~/.ssh/authorized_keys

ll ~/.ssh/

#slave1

chmod 600 ~/.ssh/authorized_keys

ll ~/.ssh/

#slave2

chmod 600 ~/.ssh/authorized_keys

ll ~/.ssh/

配置 SSH 服务

使用 root 用户登录，修改 SSH 配置文件"/etc/ssh/sshd_config"的下列内容，需要将该配置字段前面的#号删除，启用公钥私钥配对认证方式。

#master

su - root

vi /etc/ssh/sshd_config

PubkeyAuthentication yes #找到此行，并把#号注释删除。

#slave1

su - root

vi /etc/ssh/sshd_config

PubkeyAuthentication yes #找到此行，并把#号注释删除。

#slave2

su - root

vi /etc/ssh/sshd_config

PubkeyAuthentication yes #找到此行，并把#号注释删除。

设置完后需要重启 SSH 服务，才能使配置生效。

systemctl restart sshd

切换到 hadoop 用户

su - hadoop

验证 SSH 登录本机

在 hadoop 用户下验证能否嵌套登录本机，若可以不输入密码登录，则本机通过密钥登录认证成功。

ssh localhost

交换 SSH 密钥

将 Master 节点的公钥 id_rsa.pub 复制到每个 Slave 点

hadoop 用户登录，通过 scp 命令实现密钥拷贝。

scp ~/.ssh/id_rsa.pub hadoop@slave1:~/

scp ~/.ssh/id_rsa.pub hadoop@slave2:~/

首次远程连接时系统会询问用户是否要继续连接。需要输入“yes”，表示继续。因为目前尚未完成密钥认证的配置，所以使用 scp 命令拷贝文件需要输入slave1 节点 hadoop 用户的密码。

在每个 Slave 节点把 Master 节点复制的公钥复制到authorized_keys 文件

hadoop 用户登录 slave1 和 slave2 节点，执行命令。

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

在每个 Slave 节点删除 id_rsa.pub 文件

rm -rf ~/id_rsa.pub

将每个 Slave 节点的公钥保存到 Master

将 Slave1 节点的公钥复制到 Master

scp ~/.ssh/id_rsa.pub hadoop@master:~/

在 Master 节点把从 Slave 节点复制的公钥复制到 authorized_keys 文件

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

在 Master 节点删除 id_rsa.pub 文件

rm -rf ~/id_rsa.pub

将 Slave2 节点的公钥复制到 Master

scp ~/.ssh/id_rsa.pub hadoop@master:~/

在 Master 节点把从 Slave 节点复制的公钥复制到 authorized_keys 文件

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

在 Master 节点删除 id_rsa.pub 文件

rm -rf ~/id_rsa.pub

验证 SSH 无密码登录

查看 Master 节点 authorized_keys 文件

cat ~/.ssh/authorized_keys

可以看到 Master 节点 authorized_keys 文件中包括 master、slave1、slave2 三个节点的公钥。

查看 Slave 节点 authorized_keys 文件

cat ~/.ssh/authorized_keys

可以看到 Slave 节点 authorized_keys 文件中包括 Master、当前 Slave 两个节点的公钥。

验证 Master 到每个 Slave 节点无密码登录

hadoop 用户登录 master 节点，执行 SSH 命令登录 slave1 和 slave2 节点。可以观察到不需要输入密码即可实现 SSH 登录。

ssh slave1

ssh slave2

验证两个 Slave 节点到 Master 节点无密码登录

ssh master

配置两个子节点slave1、slave2的JDK环境

cd /usr/local/src/

scp -r jdk1.8.0_152 root@slave1:/usr/local/src/

scp -r jdk1.8.0_152 root@slave2:/usr/local/src/

#slave1

ls /usr/local/src/

vi /etc/profile

#此文件最后添加下面两行

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

java -version

#slave2

ls /usr/local/src/

vi /etc/profile

#此文件最后添加下面两行

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

java -version

在 Master 节点上安装 Hadoop

配置 Hadoop 环境变量

yum install -y vim

vim /etc/profile

tail -n 4 /etc/profile

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/local/src/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置的 Hadoop 的环境变量生效

su - hadoop

source /etc/profile

exit

执行以下命令修改 hadoop-env.sh 配置文件

cd /usr/local/src/hadoop/etc/hadoop/

vim hadoop-env.sh

#修改以下配置

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

配置 hdfs-site.xml 文件参数

vim hdfs-site.xml

#编辑以下内容,写在<configuration>标签里面

配置 core-site.xml 文件参数

vim core-site.xml

#编辑以下内容,写在<configuration>标签里面，IP根据自己的IP修改

配置 mapred-site.xml

pwd

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

#编辑以下内容,写在<configuration>标签里面

配置 yarn-site.xml

vim yarn-site.xml

#编辑以下内容,写在<configuration>标签里面

Hadoop 其他相关配置

配置 masters 文件

vim masters

配置 slaves 文件

vim slaves

新建目录

mkdir /usr/local/src/hadoop/tmp

mkdir /usr/local/src/hadoop/dfs/name -p

mkdir /usr/local/src/hadoop/dfs/data -p

修改目录权限

chown -R hadoop:hadoop /usr/local/src/hadoop/

同步配置文件到 Slave 节点

scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/

scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

#slave1 配置

yum install -y vim

vim /etc/profile

chown -R hadoop:hadoop /usr/local/src/hadoop/

su - hadoop

source /etc/profile

#slave2 配置

yum install -y vim

vim /etc/profile

chown -R hadoop:hadoop /usr/local/src/hadoop/

su - hadoop

source /etc/profile

配置 Hadoop 格式化

将 NameNode 上的数据清零，第一次启动 HDFS 时要进行格式化，以后启动无需再格式化，否则会缺失 DataNode 进程。另外，只要运行过 HDFS，Hadoop 的工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会出问题。

执行如下命令，格式化 NameNode

su – hadoop

cd /usr/local/src/hadoop/

bin/hdfs namenode –format

执行如下命令，启动 NameNode：

hadoop-daemon.sh start namenode

查看 Java 进程

启动完成后，可以使用 JPS 命令查看是否成功。JPS 命令是 Java 提供的一个显示当前所有 Java 进程 pid 的命令。

jps

slave节点启动 DataNode

hadoop-daemon.sh start datanode

jps

hadoop-daemon.sh start datanode

jps

启动 SecondaryNameNode

hadoop-daemon.sh start secondarynamenode

jps

查看 HDFS 数据存放位置：

ll dfs/

ll ./tmp/dfs

可以看出 HDFS 的数据保存在/usr/local/src/hadoop/dfs 目录下，NameNode、 DataNode和/usr/local/src/hadoop/tmp/目录下,SecondaryNameNode 各有一个目录存放数据。

查看 HDFS 的报告

hdfs dfsadmin -report

使用浏览器查看节点状态

Hive组件安装配置

下载和解压安装文件

基础环境和安装准备

Hive 组件需要基于 Hadoop 系统进行安装。因此，在安装 Hive 组件前，需要确保 Hadoop

系统能够正常运行。本章节内容是基于之前已部署完毕的 Hadoop 全分布系统，在 master

节点上实现 Hive 组件安装。

Hive 组件的部署规划和软件包路径如下：

（1）当前环境中已安装 Hadoop 全分布系统。

（2）本地安装 MySQL 数据库（账号 root，密码 Password123$），

软件包在/opt/software/mysql-5.7.18 路径下。

（3）MySQL 端口号（3306）。

（4）MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.47.jar，

在此基础上更新 Hive 元数据存储。

（5）Hive 软件包/opt/software/apache-hive-2.0.0-bin.tar.gz。

解压安装文件

使用 root 用户，将 Hive 安装包

/opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。

tar -zxvf /opt/software/apache-hive-2.0.0-bin.tar.gz -C /usr/local/src

将解压后的 apache-hive-2.0.0-bin 文件夹更名为 hive；

mv /usr/local/src/apache-hive-2.0.0-bin /usr/local/src/hive

修改 hive 目录归属用户和用户组为 hadoop

chown -R hadoop:hadoop /usr/local/src/hive

设置 Hive 环境

卸载 MariaDB 数据库

Hive 元数据存储在 MySQL 数据库中，因此在部署 Hive 组件前需要首先在 Linux 系统

下安装 MySQL 数据库，并进行 MySQL 字符集、安全初始化、远程访问权限等相关配置。需

要使用 root 用户登录，执行如下操作步骤：

关闭 Linux 系统防火墙，并将防火墙设定为系统开机并不自动启动。

关闭防火墙服务

systemctl stop firewalld

设置防火墙服务开机不启动

systemctl disable firewalld

卸载 Linux 系统自带的 MariaDB。

首先查看 Linux 系统中 MariaDB 的安装情况。

查询已安装的 mariadb 软件包

rpm -qa | grep mariadb

以上结果显示 Linux 系统中已经按照了 mariadb-libs-5.5.52-2.el7.x86_64 软件包，

需要将其卸载。

卸载 MariaDB 软件包。

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

安装 MySQL 数据库

MySQL 软件包路径

cd /opt/software/mysql-5.7.18/

rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm

将以下配置信息添加到/etc/my.cnf 文件 symbolic-links=0 配置信息的下方。

default-storage-engine=innodb

innodb_file_per_table

collation-server=utf8_general_ci

init-connect='SET NAMES utf8'

character-set-server=utf8

启动 MySQL 数据库。

systemctl start mysqld

systemctl status mysqld

查询 MySQL 数据库状态。mysqld 进程状态为 active (running)，则表示 MySQL 数据库正常运行。

如果 mysqld 进程状态为 failed，则表示 MySQL 数据库启动异常。此时需要排查 /etc/my.cnf 文件

查询 MySQL 数据库默认密码。

MySQL 数据库安装后的默认密码保存在/var/log/mysqld.log 文件中，在该文件中以 password 关键字搜索默认密码。

cat /var/log/mysqld.log | grep password

MySQL 数据库初始化

执行 mysql_secure_installation 命令初始化 MySQL 数据库，初始化过程中需要设定数据库 root 用户登录密码，密码需符合安全规则，包括大小写字符、数字和特殊符号，可设定密码为 Password123$。

在进行 MySQL 数据库初始化过程中会出现以下交互确认信息：

1）Change the password for root ? ((Press y|Y for Yes, any other key for No)表示是否更改 root 用户密码，在键盘输入 y 和回车。

2）Do you wish to continue with the password provided?(Press y|Y for Yes, any other key for No)表示是否使用设定的密码继续，在键盘输入 y 和回车。

3）Remove anonymous users? (Press y|Y for Yes, any other key for No)表示是否删除匿名用户，在键盘输入 y 和回车。

4）Disallow root login remotely? (Press y|Y for Yes, any other key for No) 表示是否拒绝 root 用户远程登录，在键盘输入 n 和回车，表示允许 root 用户远程登录。

5）Remove test database and access to it? (Press y|Y for Yes, any other key for No)表示是否删除测试数据库，在键盘输入 y 和回车。

6）Reload privilege tables now? (Press y|Y for Yes, any other key for No) 表示是否重新加载授权表，在键盘输入 y 和回车。

添加 root 用户从本地和远程访问 MySQL 数据库表单的授权。

mysql -uroot -p

grant all privileges on *.* to root@'localhost' identified by 'Password123$'; # 添加 root 用户本地访问授权

grant all privileges on *.* to root@'%' identified by 'Password123$'; # 添加 root 用户远程访问授权

flush privileges; # 刷新授权

select user,host from mysql.user where user='root'; # 查询 root 用户授权情况

exit; # 退出 MySQL 数据库

配置 Hive 组件

（1）设置 Hive 环境变量并使其生效。

vi /etc/profile

# 在文件末尾追加以下配置内容

# set hive environment

export HIVE_HOME=/usr/local/src/hive

export PATH=$PATH:$HIVE_HOME/bin

# 使环境变量配置生效

source /etc/profile

（2）修改 Hive 组件配置文件。

切换到 hadoop 用户执行以下对 Hive 组件的配置操作。

将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件，更名为

hive-site.xml。

su - hadoop

cp /usr/local/src/hive/conf /hive-default.xml.template /usr/local/src/hive/conf/hive-site.xml

（3）通过 vi 编辑器修改 hive-site.xml 文件实现 Hive 连接 MySQL 数据库，并设定

Hive 临时文件存储路径。

vi /usr/local/src/hive/conf/hive-site.xml

（1）设置 MySQL 数据库连接。

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&us eSSL=false</value>

<description>JDBC connect string for a JDBC metastore</description>

（2）配置 MySQL 数据库 root 的密码。

<name>javax.jdo.option.ConnectionPassword</name>

<value>Password123$</value>

<description>password to use against s database</description>

</property>

（3）验证元数据存储版本一致性。若默认 false，则不用修改。

<name>hive.metastore.schema.verification</name>

<value>false</value>

Enforce metastore schema version consistency. True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.

</description>

</property>