hadoop安装流程

这篇文章主要记录安装hadoop的过程，给后来者一点帮助，

• 官网获取安装包

选一款你想要的

Apache Hadoop 

• 下载完成后上传到服务器（我用的是finalshell）

先别急着解压

• 准备Java包

像上面一样官网下载对应的Java包

这边我已经准备好了

jdk-8u212-linux-x64.tar

同样的 上传到服务器

• 现在我们开始正式安装hadoop

• 新建一个个人用户

adduser wolf   (我用的是wolf  大家可以随意设计)

su – wolf   进入到wolf用户下

• 新建几个文件夹

将root 用户下的

Hadoop压缩包和java包解压到 wolf用户下software文件夹

cp Hadoop-3.1.3.tar.gz /home/wolf/software

cp jdk-8u181-linux-x64.tar.gz /home/wolf/software

然后依次解压到app文件夹下

好了，现在app文件夹下就有了两个文件夹

• 接下来创建软链接

创建软链接的好处之一就是切换版本无感知，对日后的版本管理提供了很大的便利性

ll 一下

• 接下来要更改 etc/hadoop/core-site.xml

在最后一段加上

注意要改成自己的用户名

• 接下来要更改 etc/hadoop/hdfs-site.xml

在最后一段加上

• 接着我们要修改主机名

执行

hostnamectl set-hostname wolf        这边一定修改 不然会报错的

• 接着修改workers

修改成自己的用户名

改完之后要重新进入服务器 才能生效

• 接着配置下/home/wolf/app/hadoop/etc/hadoop/ hadoop-env.sh

Vi hadoop-env.sh

这边要设置下java_home  

这个时候应该能体会到软链接的好处，下次我们更新jdk版本的时候只需要整体替换jdk包就行了，不需要再一个个修改这些路径了

• 接着设置下免登录

分别执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

• 最后修改环境变量

切换到root用户下

vi /etc/profile

在文件最后添加这么几行代码

export JAVA_HOME=/home/wolf/app/java

export PATH=$JAVA_HOME/bin:$PATH

保存退出

并执行 source /etc/profile   重启使环境变量生效

• 安装hadoop

• 格式化节点

来到 /home/wolf/app/Hadoop  路径下

执行

bin/hdfs namenode -format

当出现这句话时 就说明执行成功了

• 启动hadoop

sbin/start-dfs.sh

这样就启动起来了

• 最后结果

输入 jps

看到这几个结果 就算是大功告成了