Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。
服务器资源目录
ip地址 | 节点 | 组件 |
---|---|---|
192.168.186.164 | master | |
192.168.186.167 | slave1 | |
192.168.186.174 | slave2 |
账户密码目录
账户 | 密码 | 备注 |
---|---|---|
hadoop用户 | ambari2021 | 192.168.186.164服务器 |
hadoop用户 | ambari2021 | 192.168.186.167服务器 |
hadoop用户 | ambari2021 | 192.168.186.174服务器 |
1、操作系统设置
1.1 创建用户和用户组
新建用户工作组
groupadd hadoop
新建用户同时增加用户组
useradd -g hadoop hadoop
为hadoop用户设置密码
passwd hadoop
正确密码
ambari2021
1.2 赋予hadoop用户sudo权限
编辑 etc/sudoers文件
visudo
增加如下配置
Hadoop ALL=(ALL) NOPASSWD:ALL
Hadoop ALL=(ALL) NOPASSWD:ALL
参数解释:
第一个字段Hadoop 表示能使用sudo命令的用户
第二个字段ALL=(ALL) 第一个ALL表示允许使用sudo的主机,第二个ALL表示使用sudo后以什么身份来执行命令
第三个字段NOPASSWD:ALL 滴一个NOPASSWD表示使用sudo提升权限的时候不需要使用密码,第二个ALL表示允许使用sudo执行的命令
1.3 配置hostname
检查当前hostname
hostname -f
永久修改hostname
sudo hostnamectl set-hostname ambari-01
配置hosts文件
sudo vi /etc/hosts
添加如下配置 注意自带的两行不要删除 此外公司服务器配置内网IP
192.168.186.164 ambari-01
1.4 防火墙设置
禁用防火墙,避免多个节点之间收到影响(生产环境一般用运维专业人员来做端口策略,并不能完全关闭防火墙)
禁止防火墙开机启动
sudo systemctl disable firewalld
关闭防火墙
sudo systemctl stop firewalld
查看防火墙状态
sudo systemctl status firewalld
1.5 禁用SELinux
检查SELinux状态(只要返回的不是disabled那么说明SELinux是开着的,则需要关闭)
getenforce
临时禁用
sudo setenforce 0
永久禁用
sudo vi /etc/selinux/config
将SELINUX 改为 SELINUX=disabled
1.6 SSH免密
Hadoop大数据集群的相关组件大多依赖SSH免密登录来通过一个节点操作集群
使用hadoop用户登录 (切换到根目录)
su - hadoop
执行命令生成公、私钥(三次直接回车)
ssh-keygen
将公钥拷贝到认证文件
cd .ssh/
cat id_rsa.pub >> authorized_keys文件授权
chmod 700 ~/.ssh
chmod 600 ~/.ssh/author