Hadoop集群搭建

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

基础集群搭建

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1.按照左侧虚拟机名称修改对应主机名

在master环境执行

hostnamectl set-hostname master
bash

在slave1环境执行

hostnamectl set-hostname slave1
bash

在slave2环境执行

hostnamectl set-hostname slave2
bash

2.修改云主机host文件添加左侧master、slave1、slave2三个节点IP与主机名映射

(1)在master，slave1，salve2环境执行如下操作

vim /etc/hosts

(2)在hosts文件最后追加如下内容

master本地ip master
slave1本地ip slave1
slave2本地ip slave2

3. 时区更改为上海时间（CST+0800时区）

在master，slave1，salve2环境执行如下操作

timedatectl set-timezone Asia/Shanghai

关闭防火墙，在master，slave1，salve2环境执行如下操作

systemctl stop firewalld
systemctl disable firewalld

关闭三master，slave1，salve2环境的Linux安全机制，在master，slave1，salve2环境执行如下操作

vim /etc/sysconfig/selinux # 将SELINUX=enforcing 改为SELINUX=disabled

4. 环境已经安装NTP，修改master节点NTP配置，设置master为本地时间服务器，屏蔽默认server，服务器层级设为10

在master环境执行如下操作

vim /etc/ntp.conf

在文件最后追加如下内容

server 127.127.1.0
fudge 127.127.1.0 stratum 10

5.开启NTP服务

在master环境执行如下操作

/bin/systemctl restart ntpd.service

6. 添加定时任务–在早十-晚五时间段内每隔半个小时同步一次本地服务器时间（24小时制、使用用户root任务调度crontab，服务器地址使用主机名）

在slave1，slave2环境执行如下命令

ntpdate master
crontab -e

在文件最后追加如下内容

*/30 10-17 * * * usr/sbin/ntpdate master

7. master节点生成公钥文件id_rsa.pub(数字签名RSA，用户root，主机名master)

master环境下执行

ssh-keygen # 三次回车

8. 建⽴master⾃身使⽤root⽤户ssh访问localhost免密登录

master环境下执行

ssh-copy-id localhost

9. 建⽴master使⽤root⽤户到slave1/slave2的ssh免密登录访问

在master环境执行

ssh-copy-id slave1
ssh-copy-id slave2

10.将jdk安装包解压到/usr/java目录

在master，slave1，salve2环境执行如下操作

mkdir /usr/java
tar -zxvf /usr/package277/jdk-8u221-linux-x64.tar.gz -C /usr/java/

11.文件/etc/profile中配置系统环境变量JAVA_HOME

在master,slave1,slave2环境执行如下操作

vim /etc/profile

在文件最后追加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_221
export CLASSPATH=$JAV{A}_{H}OME/lib/exportPATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

Zookeeper搭建

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1.将zookeeper安装包解压到指定路径/usr/zookeeper

在master，slave1，salve2环境执行如下操作

mkdir /usr/zookeeper
tar -zxvf /usr/package277/zookeeper-3.4.14.tar.gz -C /usr/zookeeper/

2.文件/etc/profile中配置系统变量ZOOKEEPER_HOME

在master，slave1，salve2环境执行如下操作

vim /etc/profile

在文件最后追加如下内容

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

使环境变量生效

source /etc/profile

3. Zookeeper的默认配置文件为Zookeeper安装路径下conf/zoo_sample.cfg

在master，slave1，salve2环境执行如下操作

cd /usr/zookeeper/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg

4. 设置数据存储路径(dataDir)为/usr/zookeeper/zookeeper-3.4.14/zkdata

5. 设置日志文件路径(dataLogDir)为/usr/zookeeper/zookeeper-3.4.14/zkdatalog

6. 设置集群列表（要求master为1号服务器，slave1为2号服务器，slave2为3号服务器）

7. 创建所需数据存储文件夹、日志存储文件夹

4,5,6,7题如下

在master，slave1，salve2环境执行如下操作

cd /usr/zookeeper/zookeeper-3.4.14/
mkdir zkdata zkdatalog
cd /usr/zookeeper/zookeeper-3.4.14/conf
vim zoo.cfg

将dataDir字段的值修改为如下

dataDir=/usr/zookeeper/zookeeper-3.4.14/zkdata

将dataLogDir字段的值修改为如下

dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkdatalog

在文件最后追加如下内容

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

8. 数据存储路径下创建myid，写入对应的标识主机服务器序号

在master环境执行如下操作

cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 1 >> myid

在slave1环境执行如下操作

cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 2 >> myid

在slave2环境执行如下操作

cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 3 >> myid

9. 启动服务，查看进程QuorumPeerMain是否存在

在master，slave1，salve2环境执行如下操作

zkServer.sh start
jps

10.查看各节点服务器角色是否正常

在master，slave1，salve2环境执行如下操作

zkServer.sh status

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

hadoop集群搭建

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1. 将Hadoop安装包解压到指定路径/usr/hadoop

在master，slave1，salve2环境执行如下操作

mkdir /usr/hadoop
tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop/

2. 文件/etc/profile中配置环境变量HADOOP_HOME

在master，slave1，salve2环境执行如下操作

vim /etc/profile

在文件最后追加如下内容

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

3. 配置Hadoop运行环境JAVA_HOME

在master，slave1，salve2环境执行如下操作

cd /usr/hadoop/hadoop-2.7.7/etc/hadoop
vim hadoop-env.sh

在文件最后追加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_221

4. 设置全局参数，指定HDFS上NameNode地址为master,端口默认为9000

5. 指定临时存储目录为本地/root/hadoopData/tmp

4,5题如下，在master，slave1，salve2环境执行如下操作

vim core-site.xml

在configuration标签里加入如下内容：

fs.default.name hdfs://master:9000 hadoop.tmp.dir /root/hadoopData/tmp

6. 设置HDFS参数，指定备份文本数量为2

7. 设置HDFS参数，指定NN存放元数据信息路径为本地/root/hadoopData/name

8. 设置HDFS参数，关闭hadoop集群权限校验

6，7，8题如下，在master，slave1，salve2环境执行如下操作

vim hdfs-site.xml

在configuration标签里加入如下内容：

dfs.replication 2 dfs.namenode.name.dir /root/hadoopData/name dfs.datanode.data.dir /root/hadoopData/data dfs.permissions false dfs.datanode.use.datanode.hostname true

9. 设置YARN运行环境JAVA_HOME参数

在master，slave1，salve2环境执行如下操作

vim yarn-env.sh

在文件最后追加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_221

10.设置YARN核心参数，指定ResourceManager进程所在主机为master，端口为18141

在master，slave1，salve2环境执行如下操作

vim yarn-site.xml

在configuration标签里加入如下内容：

yarn.resourcemanager.admin.address master:18141 yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.shuffleHandler yarn.nodemanager.aux-services mapreduce_shuffle

11. 设置计算框架参数，指定MR运行在yarn上

在master，slave1，salve2环境执行如下操作

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在configuration标签里加入如下内容：

mapreduce.framework.name yarn

12. 设置节点文件，要求master为主节点； slave1、slave2为子节点

在master，slave1，salve2环境执行如下操作

cd /usr/hadoop/hadoop-2.7.7/etc/hadoop
vim master

在文件最后追加如下内容：

master

保存退出，继续执行如下操作：

vim slaves

在文件最后追加如下内容：(清空slaves文件中原有内容)

slave1
slave2

保存退出

13. 对文件系统进行格式化

在master环境执行如下操作

cd /usr/hadoop/hadoop-2.7.7
hadoop namenode -format

14. 启动Hadoop集群查看各节点服务

在master，slave1，salve2环境执行如下操作

sbin/start-all.sh # 在交互界面输入yes

15. 查看集群运行状态是否正常

在master环境执行如下操作

jps

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

Hive搭建

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1. 环境中已经安装mysql-community-server，关闭mysql开机自启服务

在slave2环境执行如下操作

systemctl disable mysqld

2. 开启MySQL服务

在slave2环境执行如下操作

systemctl start mysqld

3. 判断mysqld.log日志下是否生成初临时密码

在slave2环境执行如下操作

grep “temporary password” /var/log/mysqld.log # 观察初始密码并复制下来

4. 设置mysql数据库本地root用户密码为123456

在slave2环境执行如下操作

mysql -uroot -p # 此处输入上个命令的输出最后的一串初始密码

继续执行如下操作：

set global validate_password_policy=0;
set global validate_password_length=4;
alter user root@localhost identified by ‘123456’;

\q退出数据库并使用新密码登陆数据库

mysql -uroot -p # 输入123456
create user ‘root’@‘%’ identified by ‘123456’;
GRANT ALL PRIVILEGES ON . TO ‘root’@‘%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
flush privileges;

\q退出数据库

1. 将Hive安装包解压到指定路径/usr/hive

在master，slave1执行如下操作

mkdir /usr/hive
tar -zxvf /usr/package277/apache-hive-2.3.4-bin.tar.gz -C /usr/hive/

2. 文件/etc/profile中配置环境变量HIVE_HOME

在master，slave1执行如下操作

vim /etc/profile

在文件最后追加如下内容

export HIVE_HOME=/usr/hive/apache-hive-2.3.4-bin
export PATH=$PATH:$HIVE_HOME/bin

使环境变量生效

source /etc/profile

3. 修改HIVE运行环境，配置Hadoop安装路径HADOOP_HOME

4. 修改HIVE运行环境，配置Hive配置文件存放路径HIVE_CONF_DIR

5. 修改HIVE运行环境，配置Hive运行资源库路径HIVE_AUX_JARS_PATH

3，4，5题在master，slave1执行如下操作

cd /usr/hive/apache-hive-2.3.4-bin/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

在文件最后追加如下内容

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.4-bin/conf
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.3.4-bin/lib

6.解决jline的版本冲突

在master，slave1执行如下操作

cp /usr/hive/apache-hive-2.3.4-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1. 驱动JDBC拷贝至hive安装目录对应lib下

在slave1环境下执行

cp /usr/package277/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.3.4-bin/lib/

2. 配置元数据数据存储位置为/user/hive_remote/warehouse

3. 配置数据库连接为MySQL

4. 配置连接JDBC的URL地址主机名及默认端口号3306

5. 配置数据库连接用户

6. 配置数据库连接密码

在slave1环境下执行

vim hive-site.xml

在文件中加入如下内容

hive.metastore.warehouse.dir /user/hive_remote/warehouse javax.jdo.option.ConnectionURL jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.metastore.schema.verification false datanucleus.schema.autoCreateALL true

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1. 配置元数据存储位置为/user/hive_remote/warehouse

2. 关闭本地metastore模式（1分）

3.配置指向metastore服务的主机为slave1，端口为9083

在master环境执行如下操作

vim hive-site.xml

在文件中加入如下内容

hive.metastore.warehouse.dir /user/hive_remote/warehouse hive.metastore.local false hive.metastore.uris thrift://slave1:9083

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

1. 服务器端初始化数据库，启动metastore服务

在slave1环境下执行

schematool -dbType mysql -initSchema

2. 客户端开启进入hive，创建hive数据库

在slave1环境下执行

cd /usr/hive/apache-hive-2.3.4-bin
bin/hive --service metastore

在master环境执行

bin/hive
create database hive;