关于Hadoop-3.2.0的安装及一些问题的解决方法

作为一个最近刚开始接触大数据的萌新，一切都得从基础开始学起。学习大数据,Hadoop是必不可少的内容。而Hadoop的安装则就是基础中的基础了。故而，我对Hadoop的安装以及我在安装中遇到的问题做了一个总结，希望可以帮助到和我遇到同样问题的同伴。如果文中有什么错误也欢迎指出。

好的，那现在就开始来聊聊如何安装Hadoop吧!

开始之前需要做的一些准备

1，一台装有Ubuntu的电脑
2，Ubuntu需要装有一个Linux系统（因为我装的是伪分布式，如果要装完全分布式的可以忽略这篇文章）

装Hadoop之前得装好jdk与openssh-server。所以我们就先从这两个开始装起。

jdk的安装步骤

(注:1,我用的是jdk-11.0.3 2,我在/usr/local下加了存放jdk的目录)

1, 从orcale上下载jdk-11.0.3

2, sudo -s(切换到超级管理员)

3, mv /home/jx/download/jdk-11.0.3 /usr/local/jdk (将下载的jdk移到自己建的目录里)

4, tar -zxvf jdk-11.0.3(解压)

5, vi /etc/profile （添加以下内容）

6，source /etc/profile（使配置的文件生效）

7, 检验安装是否成功:java -version
成功的截图：

以上就是jdk的安装。

openssh-server的安装步骤

1, sudo -s

2, apt install openssh-server

3, /etc/init.d/ssh status

4, /etc/init.d/ssh restart

5, ps -e |grep sshd（检查ssh是否开启）
安装成功的截图：

（注：必须要出现sshd字样才是安装成功）

设置ssh免密登录

1, ssh-keygen

2, cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorised_keys

3,sudo chmod -R 750 ~/.ssh/authorised_keys

4,ssh localhost（这步结束会出现下图）

以上就是openssh-server的安装与免密登录的设置

在安装openssh-server可能会出现的错误：
我第一次装好ssh并开启了ssh后进行检测ssh是否启动(sudo ps -e |grep ssh).结果没有出现sshd,只出现了ssh-agent。

出现这样的情况就代表ssh没有正常开启.我在网上试了很多办法但结果都不行。最后只能卸载重装。(如果出现ssh无法卸载的情况就重新再建一个虚拟机吧。一切重新开始)
（如果有其他好的解决办法可以解决也欢迎提出来，大家一起学习学习。）

Hadoop的安装步骤

现在就到了今天的主角Hadoop的安装。接下来需要配置的文件会稍微多一点，希望大家可以休息一下调整好状态，避免出错。

在jdk与openssh-server都已安装完成的情况下就可以进行接下来的安装了
（注：1，我在usr下已经创建了一个存放Hadoop的目 2，我装的是Hadoop-3.2.0 3，千万不要照抄，因为每个人localhost可能不同，建的目录名字也不同。一切按照实际进行操作。）
1, 下载Hadoop（可到Apache官网自行下载）

2, 执行tar -xvf hadoop-3.2.0

3, vi /etc/profile (添加以下内容)

4, 进入/hadoop-3.2.0/etc/hadoop进行文件的配置

core-site.xml:

hdfs-site.xml:

mapred-site.xml:

yarn-site.xml:

hadoop-evn.sh:

5，安装完成后得进行初始化: hadoop namenode -format

6，start-all.sh开启Hadoop
成功启动的截图：

7，输入jps显示进程,成功会有6个进程的截图:

以上就是全部的Hadoop-3.2.0的安装全部过程。

可能会出现的问题

我在安装Hadoop时出了不少问题，所以消耗了我不少的时间。如果能一次性就安装成功，那么恭喜你，节省了一大笔时间。并且下面的内容也不用再看了。若是出了一些问题，那我希望接下来的内容可以对你有些帮助。节省你们的时间，毕竟时间是宝贵的。好了废话不多说了，下面开始聊聊我出的问题吧。

问题一：
初始化Hadoop报错。这是可以切换到root用户下进行初始化。我是这样成功初始化的。

问题二：
如果开启Hadoop后有如下错误:

这个就是没有设置ssh免密登录所造成的。可以返回上面看看ssh免密登录的设置。不过这里要注意一下，如果之前设置过免密登录在进行设置之前得先删除.ssh文件：
sudo rm -rf ~/.ssh。

问题三：
如果出现以下这样的错误

这也是ssh没有设置好的原因。可以回去重新看看openssh-server的安装。因为出现这样的错误很有可能就是ssh没开。

问题四：
jps后显示的进程只有一个jps或者有不全的情况.但start-all.sh没有报错。

这时候去看看没有启动的进程的日志(在/hadoop-3.2.0/logs里面看.log文件)。因为我的情况比较严重，只显示了一个jps。所以就拿datanode为例,日志文件出现下面这样的错误：

这是因为目录权限的问题。所以需要改变目录的权限(用chown命令来改变目录权限)。将目录权限改为当前用户，因为这个目录的权限是root，所以需要将目录权限目录赋给当前用户(我是直接将Hadoop整个目录权限改为当前用户)。具体的如何改权限可以去查查chown命令。

问题五：
若在一切都没有问题的情况下却遇到start-all.sh开启进程后整个虚拟机都卡死的情况，那这时就需要退出虚拟机，将虚拟机内存设大一点。然后再开启Hadoop,应该就可以解决问题了.即正常显示6个进程。

总结：因为我出的问题比较多，所以特地来记录一下。希望可以帮到有需要的人。如果文中有不足之处或是错误，欢迎大家指出。如果觉得文中废话较多或有些语句不通顺的地方并造成一点点阅读障碍的也希望大家多多谅解。谢谢。