前提:
创建三台虚拟机
主机名 node01、node02、node03
Ip 自己定
磁盘大小50G
Hadoop集群安装部署
1、 服务器主机名和IP配置(三台)
2、 修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(三台)
3、 管理节点到从节点配置无密码登录
4、 配置jdk 1.8(三台)
5、 关闭防火墙(三台)
6、 关闭selinux(三台)
vi /etc/selinux/config
SELINUX=enforcing 改为 SELINUX=disabled
重启系统
安装流程
1、 上传软件包到管理节点,在管理节点解压并配置
2、 将修改完的解压包,远程拷贝到所有的从节点
3、 启动软件
Hadoop安装部署
1、 软件包上传并解压
a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C ../servers/
2、 第二步查看hadoop支持的压缩方式以及本地库
a) ./hadoop checknative
b) 安装 openssl
yum -y install openssl-devel
./hadoop checknative
3、 修改配置文件
进入hadoop目录下
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
a)vim core-site.xml
<configuration>
<property>
<name>fs.default