基于Ambari 2.7搭建HDP 3.0平台大数据集群(有网络)

一、安装包准备
    1.https://supportmatrix.cloudera.com/#Hortonworks 官网提供了Ambari与HDP及其他大数据组件的版本依赖
    2.需要提前准备的安装包
      系统使用 CentOS 7.9 * 64 查看centos系统版本命令:cat /etc/redhat-release

      Ambari 2.7
      HDP 3.0
      Mysql 5.7
      JDK 8
二、环境配置(root用户下
    1.配置主机网络(所有服务器均设置)

      vi /etc/sysconfig/network-scripts/ifcfg-ens33

      修改部分

BOOTPROTO=static
NAME=XX ##名字自己设置
ONBOOT=yes

      新增部分
      IP根据自己网络设置:
      本地-控制面板\网络和 Internet\网络连接-VMnet8-属性-IPV4-属性-查看IP和子网掩码;
      VMware-编辑-虚拟网络编辑器-VMnet8-子网地址;
      这两个地址要保证在同一个网段,如果不在,可以修改虚拟网络编辑器(点击更改设置)

IPADDR=xx.xx.xx.xx
NETMASK=255.255.255.0
GATEWAY=xx.xx.xx.xx
DNS2=8.8.8.8

    2.修改主机名和/etc/hosts文件(所有服务器均设置)
      (1).配置主机名:
                临时修改: hostnamectl set-hostname "主机名"
                永久修改: vi /etc/sysconfig/network 添加

NETWORKING=yes 
HOSTNAME=xx ##这个是主机名,要求是FQDN格式,自己配置即可,如:dx0x.server.com

      (2).配置/etc/hosts文件,建立IP和主机名的映射,集群中其他节点信息也需要配置进来,主机名要求是FQDN格式,添加以下信息(注意:文件中原有信息不要改动,不要删除!):

IP FQDN 主机名 集群所有节点信息都要写入
如
xx.xx.xx.xx dx01.server.com dx01
xx.xx.xx.xx dx02.server.com dx02
xx.xx.xx.xx dx03.server.com dx03

      (3).重启 reboot  
      (4).hostname -f 检查主机名
                hostname -i 检查IP
                ping www.baidu.com
                ping dx01
                ping dx02
                ping dx03
                本地 win+r cmd
                ping xx.xx.xx.xx
    3.最大可打开文件描述符需求(所有服务器均设置)

ulimit -n 10000
设置后查看
ulimit -Sn
ulimit -Hn

    4.禁用SELinux和PackageKit并检查umask值(所有服务器均设置)
      必须禁用SELinux才能使Ambari设置正常运行
      临时禁用:setenforce 0
      永久禁用:vi /etc/sysconfig/selinux

SELINUX=disabled

      在安装了PackageKit的机器上设置(如果没有该文件,则重新编辑一个): vi /etc/yum/pluginconf.d/refresh-packagekit.conf

enabled=0

      设置umask为0022 UMASK设置linux计算机上创建新文件或文件夹时授予的默认权限或基本权限。022,对应755权限;027对应750权限;Ambari和HDP中022等效0022,027等效0027。必须设置
      检查设置 umask
      为当前登录session设umask:

umask 0022

      为每个用户设置:

echo umask 0022 >> /etc/profile

    5.设置防火墙(所有服务器均设置;Ambari设置及部署期间,与管理的主机进行通信,某些端口必须开放且可用) CentOS7 默认使用firewalld防火墙,如果想换回iptables防火墙,可关闭firewalld并安装iptables      

查看防火墙状态 firewall-cmd --state
关闭防火墙开机自启动: systemctl disable firewalld
关闭当前运行防火墙: service firewalld stop

    6.设置

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值