hadoop学习笔记之四台虚拟机的完全分布式搭建操作步骤

简答实现四台虚拟机的完全分布式搭建操作

	NN	SNN	DN
node01	√
node02		√	√
node03			√
node04			√

1 虚拟机搭建jdk和hadoop环境相关设置

1.1 jdk和hadoop安装

在linux的根目录下opt目录下创建两个子目录分别为software和module目录，创建这两个文件的目的是，software为了存放压缩文件，而module为了存放解压文件，将jdk和hadoop压缩包发送到software目录，并且解压到module目录，修改java环境变量。

vim /etc/profile

cd /opt/module/hadoop-2.7.2/etc/hadoop

进入hadoop目录修改相关的环境变量（hadoop-env.sh，mapred-env.sh，yarn-env.sh）

vim hadoop-env.sh

vim mapred-env.sh

vim yarn-env.sh

在安装好jdk时候,环境变量也配置好后，输入jps（显示java进程及id号），如果没有反应，输入. /etc/profile后(. 后面有一个空格)，在输入jps查看。

1.2 免密钥处理:

这一步也可以不做，但是那样的话，为了方便远程登录一类的，这里就设置了免密钥处理。
进入root权限，直接在当前输入cd命令，然后在输入ls –ha，查看有没有.ssh目录，没有的话的话，输入ssh localhost登录自己创建，然后，exit退出。此时在输入ls –ha目录下就已经有了.ssh目录了。

用node01做namenode，其他三个做datanode处理，所以，node01（管理节点）的公钥放到三个文件的autoorized_keys去，比如将node01的公钥放在node02里面，输入：scp id_dsa.pub node02:/ root/.ssh/node01.pub。接着输入cat node01.pub >> authorized_keys将node01.pub的内容追加到authorized_keys中去，其他两个类似。现在就可以直接免密钥进入。

1.3 hadoop环境搭建

vim core-site.xml

vim slaves

vim hdfs-site.xml

上面这些只是配置好了一台虚拟机，如果不想麻烦，可以在SecureCRT或者Xshell中输入：scp –r hadoop路径 node02:hadoop路径，这里就相当于将整个hadoop目录拷贝到另外一个虚拟机中，hadoop路径就是你解压hadoop后放置的位置。我这里就是/opt/module目录下。

假设四个虚拟机都设置好了，在node01格式化namenode，输入hdfs namenode –format 格式化完成后，输入start-dfs.sh，启动。此时也可以在进入各个虚拟机中输入：cd /var/sxt/hadoop/full/dfs/，查看生成的目录，比如这里去node02查看

由于node02即使datanode节点也是namesecondary节点，所以这里有两个目录。
也可以输入jps查看进程。

在浏览器中输入：http://node01:50070