[HDP3.1.4.0集群搭建] 通过Ambari从零开始安装和设置 Ambari server,部署HDP集群

首先确保以下步骤都成功进行,没有特别说明的话,集群中每个节点都要执行以下的步骤
linux系统为 Centos 7.6 ,HDP版本 3.1.4.0


1 创建集群操作的单独用户和组,如hadoop用户,hadoop组,主要是方便管理
https://blog.csdn.net/qq_41712271/article/details/108688945

2 赋予用户 sudo的权限,后期所有的操作都用 hadoop用户来进行
https://blog.csdn.net/qq_41712271/article/details/108688977

3 配置 hostname,每个节点都把集群的所有hostname都加上,注意 ip 是内网ip
https://blog.csdn.net/qq_41712271/article/details/108689031

4 防火墙设置
https://blog.csdn.net/qq_41712271/article/details/108689079

5 禁用 SELinux安全子系统
https://blog.csdn.net/qq_41712271/article/details/108689124

6 配置ssh免密登陆 (master,slave1,slave2必须能免登陆自己)(master能免登陆其它两个主机)
https://blog.csdn.net/qq_41712271/article/details/108689205

7 安装java环境 jdk1.8
https://blog.csdn.net/qq_41712271/article/details/108689414

8 安装 Apache (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108695597

9 Apache配置本地 HDP平台安装包的yum源 (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108696269

10 安装 mysql (master和hive元数据的节点上必须装,其它服务以此类推)
https://blog.csdn.net/qq_41712271/article/details/108697263

11 准备好 mysql 的java 驱动包,目录必须到此目录
将 mysql-connector-java-8.0.18.jar 放到 /usr/share/java 目录下

时钟同步
注意:我们在生产环境这一步必须做学习环境可以不做,虚拟机会自动同步。
现在有三个节点了,需要把三个节点做一下时钟同步(注意 master 也得做),因为 HBase、 Kudu 等很多存储依赖于时间同步
在    CentOS6 中,默认是使用 ntpd 来同步时间的,但 ntpd 同步时间并不理想,有可能需要数小时来同步时间,
所以在 Centos7 中换成了 chrony 来实现时间同步
ntpd同步时间可查看博文
https://blog.csdn.net/qq_41712271/article/details/108876697

12 在master主机上安装 Ambari Server 和 配置
      步骤1: 执行以下命令安装 Ambari Server服务,  sudo yum -y install ambari-server 
      步骤2: Ambari 在配置的时候需要 MySQL 来存储数据,因此我们来创建相关数据库资源,进入 MySQL:
                     mysql -uroot -p
                     执行如下命令:
                     set global validate_password_policy=0;
                     set global validate_password_mixed_case_count=0;
                     set global validate_password_number_count=3;
                     set global validate_password_special_char_count=0;
                     set global validate_password_length=3;
                     create database ambari;
                     # 创建 ambari用户
                     CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata';
                     # 授权ambari用户拥有ambari数据库的所有权限
                     GRANT ALL ON ambari.* TO 'ambari'@'%';
                     # 刷新系统权限表
                     FLUSH PRIVILEGES;
                     use ambari;
                     source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; 
      步骤3: 开始如下命令,设置 Ambari-Server  (步骤有些多,自行baidu)
                     sudo ambari-server setup
      步骤4: 启动 Ambari-Sever
                     sudo ambari-server start

通过 webui 访问 Ambari : http://master公网ip:8080,用户名密码默认是admin/admin,如果看到如下界面就代表 ambari 真正启动好了。

13 安装部署HDP集群,添加节点,安装各种应用如 hdfs,hive,spark等
  
  (步骤有些多,自行baidu)

 


安装过程中容易出现的错误汇总
https://blog.csdn.net/qq_41712271/article/details/108700385

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值