centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

最新推荐文章于 2022-02-17 10:11:47 发布

横店选手

最新推荐文章于 2022-02-17 10:11:47 发布

阅读量699

点赞数

分类专栏：大数据 hadoop ambari 文章标签： ambari hadoop hdp 搭建部署

本文链接：https://blog.csdn.net/weixin_42340179/article/details/84318270

版权

本文详细介绍了在纯净版CentOS7环境下，如何搭建Ambari集群，包括1个Master和4个Slave节点。涉及的操作包括设置主机名和IP地址、安装操作系统、配置网络、修改系统参数、配置软件源、安装必备软件、配置SSH免密登录、创建本地源、安装Ambari Server、配置MySQL、通过Ambari安装大数据服务等步骤。

摘要由CSDN通过智能技术生成

本文介绍纯净版的机器，搭建ambari集群，版本如标题，集群规模为1master，4slaver。

1、首先为5台机器分别分配好主机名和相应的IP地址，主机名需要符合FQDN规则，不能简单的master，我这里分配的如下：

master.qc.com  192.168.8.100
slaver1.qc.com 192.168.8.101
slaver2.qc.com 192.168.8.102
slaver3.qc.com 192.168.8.103
slaver4.qc.com 192.168.8.104

2、分别为每台机器安装centos7操作系统，注意需要时英文版的，安装过程中注意选择统一的时区，比如Asis/Shanghai，然后就是最好自定义分区空间分配，默认情况下根目录空间很下，而集群运行时候，默认的日志文件等均保存在根目录，这里主要是避免后续必要的麻烦，具体安装过程（百度）

3、修改每台机器的IP地址，确保每台机器均可以正常上网，这里需要注意网线不要差错网口，下面是对应服务器第一个网口的修改

vi /etc/sysconfig/network-scripts/ifcfg-ens2f0

修改为如下所示，需要注意的是BOOTPROTO和ONBOOT两个参数：

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=ens2f0
UUID=e146fb89-73ce-4445-acdd-eb5c5e69204d
DEVICE=ens2f0
ONBOOT=yes
IPADDR=192.168.8.100
NETMASK=255.255.255.0
GATEWAY=192.168.8.1
PREFIX=24
DNS1=114.114.114.114
DNS2=8.8.8.8
DNS3=8.8.4.4

修改网络配置文件

vi /etc/sysconfig/network

内容如下

NETWORKING=yes
HOSTNAME=master.qc.com

添加域名解析（DNS设置）

vi /etc/resolv.conf

内容如下

search master.qc.com
nameserver 114.114.114.114
nameserver 8.8.8.8
nameserver 8.8.4.4

执行如下，确保生效

chattr +i /etc/resolv.conf

4、重启网络服务，确保可以正常上网即可（通过ping百度进行验证）

service network restart

5、修改每台机器/etc/hostname和/etc/hosts文件，如下，确保hostname和hostname -f指令，主机名均正确：

127.0.0.1   localhost
192.168.8.100 master.qc.com
192.168.8.101 slaver1.qc.com
192.168.8.102 slaver2.qc.com
192.168.8.103 slaver3.qc.com
192.168.8.104 slaver4.qc.com

[root@master ~]# hostname
master.qc.com
[root@master ~]# hostname -f
master.qc.com
[root@master ~]#

6、每台机器配置最大文件数

vi /etc/security/limits.conf

添加如下内容，具体数值可以在大一些，重启机器保证生效

* soft nofile 65536
* hard nofile 65536

7、每台机器配置epel源（为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux.），这样就可以用yum安装额外的软件包了

rpm -ivh http://mirrors.yun-idc.com/epel/6/x86_64/epel-release-6-8.noarch.rpm
yum repolist

8、每台机器关闭防火墙

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service

9、每台机器跟新yum源，

yum update

10、大数据集群往往需要外部依赖raid空间，这里就需要自动挂载，注意datanode每台机器的挂载点需要一致，主节点及时不用于datanode，最好也建立相应的文件夹，例如

vi /etc/fstab

添加如下

/dev/sdb1 /media/diskdata ext4 defaults 0 0

11、禁用iftables

systemctl disable firewalld
service firewalld stop

12、禁用SELinux

vi /etc/sysconfig/se

最低0.47元/天解锁文章