大数据平台基础环境准备

之前已经记录过，这里再记录一下，相以便快速使用。

安装依赖

sudo yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

配置用户和权限

添加新用户 hdfs，并赋予 root 权限。

如果使用 hdfs 用户作为 Hadoop 默认用户，需要将 hdfs 用户也配置免密登录。

adduser hdfs
passwd hdfs

# 如果提示 无效的密码： 密码未通过字典检查 - 过于简单化/系统化
echo '123456' | passwd --stdin hdfs

修改 sudoers 文件

sudo vim /etc/sudoers

root	ALL=(ALL)	ALL 
# 添加
hadoop  ALL=(ALL)	NOPASSWD:ALL

网络信息

vim /etc/sysconfig/network-scripts/ifcfg-ensxx

# 修改以下选项
BOOTPROTO=static
ONBOOT=yes				# 开机自动启动
IPADDR=10.xx.xx.xx		# 地址

# 重启网络
systemctl restart network

# 测试网络
ping baidu.com

主机名

# 查看主机名
hostname
uname –n

# 修改主机名
hostnamectl set-hostname hadoop-master

# 查看ip
ip addr
ifconfig

# 没有ifconfig
yum search all ifconfig
yum install -y net-tools

内网映射

# 配置内网映射
vim /etc/hosts

# 添加
10.0.11.110	hadoop-master
10.0.11.111	hadoop-slave01
10.0.11.112	hadoop-slave02

关闭防火墙

# 查看状态
systemctl status firewalld
systemctl status iptables

# 停止
systemctl stop firewalld
systemctl sto