【Hadoop】分布式安装（不是伪分布式）

因为要多个节点，原来的双系统不能用，下载VMWare。
（了解了一下，因为VirtualBox的网络似乎不大好。而自己是为了大数据方面的使用，所以选择了这个。听别人讲，box的貌似较为清爽，而且是免费的吧）
用Pro版可以克隆系统，下载Pro版（它要登陆，我不想注册，所以通过别人的链接直接就可以下载了），然后用别人注册码成功解锁

下载镜像

（这个是我存的一些地址）

制作U盘

（好像在安装双系统的时候就用到了😭我居然当时没记录。好吧现在补回来）

官方文档之创建虚拟机 （看着好…晦涩？）->[我的]（待补）

重点步骤

1. 安装配置ssh

sudo apt-get install openssh-server

Error：The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:w4Y2TC8yCoWkfRH3cUd8m5NI77RyjKx9cbN578vsnWI.
Are you sure you want to continue connecting (yes/no)? 

选yes然后进行下面的设置
无密登陆设置

exit
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

2. 安装Java环境（JDK/openJDK）。

如果在windows系统下载的，可看关于共享文件夹；也可以使用命令安装（我的版本有误，放弃）
设置环境变量
vim ~/.bashrc（也可以使用gedit）

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc

3. 安装Hadoop

解压，改变权限chown -R

4. （接下来是集群的安装配置）网络配置

更改网络连接方式为桥接（Bridge）模式
hostname 写其对应的
hosts 把IP写上（联网看看啊）
关机，右键开始管理->克隆

5. （下载XShell）设置无密码登陆节点

master

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

cat ./id_rsa.pub >> ./authorized_keys

scp ~/.ssh/id_rsa.pub hadoop@Slave:/home/hadoop/

slave（每个都是这样执行）

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

验证
在master终端输入ssh slave
@右边的master变成slave

6. Hadoop集群配置

(我也不想再放一个自己的链接，可是三次都说我版权问题。。。）

7. 首次启动需要先在 Master 节点执行 NameNode 的格式化 hdfs namenode -format

8. 在master中启动Hadoop

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

9. 执行实例

Refer

Refer-厦门大学
感谢提供者
Refer-重命名-CB