CentOS 7 搭建Hadoop
一、配置CentOS7网络环境
1、CentOS7网络环境设置
(一)、修改主机名:vi/etc/sysconfig/network,将主机名修改为master
(二)、修改IP地址和主机名的映射关系
输入命令:vi /etc/hosts,配置如下图
(三)、关闭防火墙
查看防火墙:firewall-cmd --state
停止防火墙:systemctl stop firewalld.service
禁止防火墙开机自启:systemctl disable firewalld.service
关闭selinux:vi /etc/selinux/config,修改如下图
(四)、重启network服务
service network restart
(五)、检查是否成功配置网络:ping www.baidu.com
(七)、克隆主机
(1)、分别修改主机名为slave01和slave02:vi /etc/sysconfig/network
(2)、修改主机的IP地址与(三)中的IP地址映射关系一致
(3)、测试网络环境:在master主机上ping slave01和ping slave02
三、配置ssh免密登陆
(一)、master主机上生成密钥:ssh-keygen,全部回车键
(二)、master密钥拷贝到其他主机的授权列表文件authorized-keys中:ssh-copy-id
slave01\ssh-copy-id slave02,同时需要在本机配置相同的免密:ssh-copy-id master
(三)、测试:ssh slave01\ssh slave02
四、JDK安装
(一)、JDK上传(需要开启master主机的ssh服务,使用远程登陆工具,例如Secure Shell
Client、Xshell、PuTTY、WInSCP等等)
1、安装ssh:yum install openssh-server
2、配置ssh_config(vi /etc/ssh/ssh_config)
3、yum install lrzsz -y(文件上传和下载工具)
4、rz jdk安装包
5、解压jdk安装包:tar -zxvf jdk-80191-linux-x64.tar.gz
6、配置环境变量:vi
/etc/profile,添加下图的内容,注意:JAVA_HOME和JRE_HOME为jdk安装的位置,然后source
/etc/profile 使配置生效
7、输入 Java -version 检查是否成功
8、拷贝JDK和profile到slave01和slave02主机上
(1)、拷贝JDK:
scp - r /hadoop/ jdk1.8.0_191 /root@slave01:/hadoop/jdk1.8.0_191/
scp - r /hadoop/ jdk1.8.0_191 /root@slave02:/hadoop/jdk1.8.0_191/
(2)、拷贝profile:
scp -r /etc/profile /root@slave01/etc/
scp -r /etc/profile /root@slave01/etc/
(3)、生效profile:source /etc/profile
(4)、测试:java -version
五、Hadoop安装部署
参考:https://blog.csdn.net/qq_41684957/article/details/81946128
1、上传Hadoop安装包:rz hadoop-3.1.1.tar,gz
2、解压hadoop安装包:tar -zxvf hadoop-3.1.1.tar.gz
3、进入hadoop目录:安装路径/etc/hadoop
4、修改环境变量:vi /etc/profile,添加图中以下内容,并重新启动 source
/etc/profile
5、修改hadoop-env.sh,配置java
jdk路径(JDK、Hadoop的安装路径,同时添加其他内容如下图)
6、修改core-site.xml文件(tmp需要手动创建,放在hadoop总文件夹中)
7、修改hdfs-site.xml文件(name和data需要手动创建,放在hadoop总文件夹中)
8、修改mapred-site.xml文件,需要先拷贝mapred-site.xml.template并重新命名为mapred-site.xml,然后在进行修改。
9、修改yarn-site.xml文件
10、编辑 workers
11、将hadoop的文件拷贝分发到其他主机
scp -r /hadoop/hadoop-3.1.1 root@slave01:/hadoop/hadoop-3.1.1
scp -r /hadoop/hadoop-3.1.1 root@slave02:/hadoop/hadoop-3.1.1
11、初始化hadoop: ./hdfs namenode -format或./hadoop namenode -format