上一篇:Ambari集群搭建_LSur_king的博客
【搭建 HDP集群】
1. 浏览器访问192.168.1.100:8080,进入ambari集群界面,用户名和密码admin/admin,开始初始化安装。
2. 创建集群POLYV_HDP,选择3.1版本的HDP集群进行安装,使用本地仓库,把其他操作系统Remove掉。
填入本地文件服务器的URL:
http://vm01/HDP/centos7/3.1.5.0-152/
http://vm01/HDP-GPL/centos7/3.1.5.0-152/
http://vm01/HDP-UTILS/centos7/1.1.0.22/
3. 点击Next,进入下一步。需要填写所有的ambari-agent节点的主机列表,并且将ambari-server所在主机执行cat ~/.ssh/id_rsa
获取ssh密钥,复制id_rsa的内容如下填入。
4. 点击下一步后,会弹出一个“Warning:The following hostnames are not valid FQDNs”,无需理会,继续点击下一步。进入到以下界面:
如果出现上述情况的,有节点联通状态检测失败,可以点击Status下的【Failed】可显示日志,发现是vm01到本机的SSH没有做免密登录。vm01控制台执行,ssh-copy-id -i ~/.ssh/id_rsa.pub root@vm01
解决问题后,点击左上角的【Retry】刷新重试,即可使所有agent节点处于成功的连通状态。
5. 选择要在集群安装的大数据组件或服务(这里还不需要根据角色分配不同的机器)
勾选HDFS、YARN+MapReduce2、HBase、ZooKeeper、Ambari Metrics、Kafka。
组件 |
版本 |
HDFS |
3.1.1.1.1 |
YARN+MapReduce2 |
3.1.1 |
HBase |
2.0.2 |
ZooKeeper |
3.4.6 |
Ambari Metrics |
0.2.0 |
Kafka |
2.0.0 |
Hive2.x | 后续独立部署 |
Spark2.3.0(需要依赖Hive,所以得独立部署) |
后续独立部署 |
点击下一步,中间会弹出几个警告,忽略,点击右边框框继续。
6. 进入到分配Master角色的界面,改动项如下图所示,其余按默认配置。
7. 进入分配工作节点和客户端部署的界面,如下选择:
8. 点击下一步,设置Grafana和Activity Explorer's Admin的用户名/密码,均为admin/admin
9. 点击下一步进入用户自定义界面,首先是每个组件数据存储目录和ambari 对 hdp 集群服务管理的账号和组的设置,这里我采取了默认的设置,可能一些配置需要根据具体应用场景进行设置。
10. 继续点击下一步&#