首先确保以下步骤都成功进行,没有特别说明的话,集群中每个节点都要执行以下的步骤
linux系统为 Centos 7.6 ,HDP版本 3.1.4.0
1 创建集群操作的单独用户和组,如hadoop用户,hadoop组,主要是方便管理
https://blog.csdn.net/qq_41712271/article/details/108688945
2 赋予用户 sudo的权限,后期所有的操作都用 hadoop用户来进行
https://blog.csdn.net/qq_41712271/article/details/108688977
3 配置 hostname,每个节点都把集群的所有hostname都加上,注意 ip 是内网ip
https://blog.csdn.net/qq_41712271/article/details/108689031
4 防火墙设置
https://blog.csdn.net/qq_41712271/article/details/108689079
5 禁用 SELinux安全子系统
https://blog.csdn.net/qq_41712271/article/details/108689124
6 配置ssh免密登陆 (master,slave1,slave2必须能免登陆自己)(master能免登陆其它两个主机)
https://blog.csdn.net/qq_41712271/article/details/108689205
7 安装java环境 jdk1.8
https://blog.csdn.net/qq_41712271/article/details/108689414
8 安装 Apache (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108695597
9 Apache配置本地 HDP平台安装包的yum源 (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108696269
10 安装 mysql (master和hive元数据的节点上必须装,其它服务以此类推)
https://blog.csdn.net/qq_41712271/article/details/108697263
11 准备好 mysql 的java 驱动包,目录必须到此目录
将 mysql-connector-java-8.0.18.jar 放到 /usr/share/java 目录下
时钟同步
注意:我们在生产环境这一步必须做,学习环境可以不做,虚拟机会自动同步。
现在有三个节点了,需要把三个节点做一下时钟同步(注意 master 也得做),因为 HBase、 Kudu 等很多存储依赖于时间同步。
在 CentOS6 中,默认是使用 ntpd 来同步时间的,但 ntpd 同步时间并不理想,有可能需要数小时来同步时间,
所以在 Centos7 中换成了 chrony 来实现时间同步。
ntpd同步时间可查看博文
https://blog.csdn.net/qq_41712271/article/details/108876697
12 在master主机上安装 Ambari Server 和 配置
步骤1: 执行以下命令安装 Ambari Server服务, sudo yum -y install ambari-server
步骤2: Ambari 在配置的时候需要 MySQL 来存储数据,因此我们来创建相关数据库资源,进入 MySQL:
mysql -uroot -p
执行如下命令:
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
create database ambari;
# 创建 ambari用户
CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata';
# 授权ambari用户拥有ambari数据库的所有权限
GRANT ALL ON ambari.* TO 'ambari'@'%';
# 刷新系统权限表
FLUSH PRIVILEGES;
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
步骤3: 开始如下命令,设置 Ambari-Server (步骤有些多,自行baidu)
sudo ambari-server setup
步骤4: 启动 Ambari-Sever
sudo ambari-server start
通过 webui 访问 Ambari : http://master公网ip:8080,用户名密码默认是admin/admin,如果看到如下界面就代表 ambari 真正启动好了。
13 安装部署HDP集群,添加节点,安装各种应用如 hdfs,hive,spark等
(步骤有些多,自行baidu)
安装过程中容易出现的错误汇总
https://blog.csdn.net/qq_41712271/article/details/108700385