阿里云轻量应用服务器centos7搭建hadoop伪分布式集群

centos7上hadoop伪分布式集群配置

写在前面

云计算实验，hadoop完全式分布集群，没那么多服务器就搞了个伪分布式。
纯粹为了应付老师，教程是一边查一遍弄的，重复装了一次，整个实验的流程顺序很重要，步骤要是错了可能弄的东西一样但是结果不一样。其中遇到过很多错误，也并没有一一记录下来，只记录了改正后的内容。要是有跟着这个教程弄，代码或者配置没错的话，有报错可以先看参考链接里面有没有解决的方案，不行就百度吧。
教程里面那些路径，你把东西解压在哪装在哪就换成哪的路径就好，多试试就没问题了。
云服务器有个很重要的功能：快照，如果担心弄错又得重装，可以在安装完jdk
或者hadoop，还没到配置的时候就去控制台搞个快照，后面出了问题搞砸了也能回去恢复到刚装完软件那个状态重新来过。真是很有用的一个功能呢。
对于人的要求，会一点linux命令就可以了，不记得直接百度就好，没什么大问题。
xshell6安装指路：https://onlinedown.rbread04.cn/huajunsafe/Xshell6_onlinedown.exe

工具

• 阿里云轻量应用服务器，centos7
• xshell (windows自带的powershell也可以的)

链接ssh

ssh root@公网ip

新增用户

useradd -d /home/hadoop -m hadoop
usermod -a -G root hadoop
passwd hadoop

把用户加入sudo组

# 切换到root用户
su
# 输入密码
visudo

找到 root ALL=(ALL) ALL，在下面添加hadoop ALL=(ALL) ALL，保存退出

设置ssh免密登录

配置公钥和秘钥

ssh-keygen -t rsa

一路enter ,配置完成后如图所示

创建authorized_keys文件，并修改权限

# .ssh文件目录与hadoop安装根目录同级
cd /home/hadoop/.ssh
touch authorized_keys
chmod 600 authorized_keys

将公钥追加到authorized_keys文件中

cat id_rsa.pub >> authorized_keys

检查是否配置成功：ssh localhost , 不用输入密码连接成功则表明免密成功

下载安装

JDK8

安装jdk

sudo yum install java-1.8.0