CentOS 7 安装Hadoop

CentOS 7 安装Hadoop

1、Hadoop安装前的准备

(1)复制文件到CentOS 7
1)建立共享文件夹，如下图所示：

2)将文件复制到hadoop文件夹下

(2)时间同步,如下图所示：


(3)修改主机名，如下图所示：

(4)配置网络环境，如下图所示：




(5)关闭防火墙，如下图所示：

(6)配置hosts列表，如下图所示：

(7)测试主节点和从节点是否能够相互ping通，如下图所示：

(8) 安装jdk
1)新建目录java，并将jdk复制到java下，如下图所示：

2)解压jdk的压缩包，如下图所示：


3)添加jdk的路径，如下图所示：


4)查看jdk版本，如下图所示： 从节点也安装好了

(9)免密钥登陆
1)切换为普通用户，如下图所示：

2)在master节点终端生成密钥，如下图所示：


3)复制公钥文件，如下图所示：

4)修改文件权限，如下图所示：

5)将文件复制到slave节点

6)在slave节点终端生成密钥，如下图所示：

7)将密钥文件移动到.ssh目录，如下图所示：

8)修改文件权限，如下图所示：

9)验证，如下图所示：

2、Hadoop安装

(1)复制Hadoop安装包，如下图所示：


(2)解压Hadoop安装包，如下图所示：


(3)修改hadoop-env.sh文件，如下图所示：

(4)修改core-site.xml文件，如下图所示：

(5)修改hdfs-site.xml文件，如下图所示：

(6)修改mapred-site.xml文件，如下图所示：

(7)修改workers文件，如下图所示：


(8)修改yarn-site.xml文件，如下图所示：


(9)复制到从节点，如下图所示：

(10)修改bash_profile文件，并使其生效，主从节点都要做，如下图所示：

(11)新建文件夹hadoopdata，主从节点都要做，如下图所示：

(12)格式化文件系统，如下图所示：

(13)启动hadoop，并jps验证，如下图所示：

(14)运行pi实例，如下图所示：

3、遇到的问题

1、第一次配置的时候，从节点配置到了works文件中，配置错了，于是又重新格式化了一遍，启动没问题了；
2、在运行pi实例的时候，出现了错误，不能找到或加载主类，找了半天也不知道是为什么，就去问了老师，发现是yarn-site.xml这个配置文件写错了。
3、第一个错误解决了以后，发现又出现了新的错误，时间不同步，原来是配置了静态IP后虚拟机连不上网了，于是去修改IP地址，如下图所示，第一个图是自己电脑的IP地址

使IP地址生效

使IP地址生效

能连上网了，如下图所示：

修改hosts文件，主从节点都要修改，并进行ping测试，如下图所示：

4、上一个问题解决之后，又出现了一个新的问题，如下图所示，于是按照网上的方法修改了mapred-site.xml文件，重新格式化，启动Hadoop；

5、上一个问题解决之后，又出现了新的问题，虚拟内存不够，如下图所示在网上找解决方案，修改yarn-site.xml和mapred-site.xml

在yarn-site.xml中添加下图所示内容
在mapred-site.xml中添加下图所示内容

6、实验过程中还出现了如下图所示的错误，原因是登录的时候使用root用户登录的，级视切换到了yss，也不能使用gedit，可以重启虚拟机登录一下，也可以用vi这个命令代替gedit。