在Vmware上搭建Hadoop环境

本文基于这位大佬的配置方案，补充了其中会遇到的问题及其解决方式。

上篇：https://blog.csdn.net/yiqiaoxihui/article/details/101097327
下篇：https://blog.csdn.net/yiqiaoxihui/article/details/101109306

问题1

使用yum命令安装lrzsz时，出现如下错误。

这是因为Centos6的各大开源镜像站已经停止维护了，但是阿里源还是可以使用的，所以我们需要更换yum的下载源。

解决方案

sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.conf

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo

yum clean all

yum makecache

完成后就可以使用yum命令安装lrzsz了。这里建议另外安装vim编辑器，比vi编辑器好用一些。

yum -y install vim*

问题2

jdk的安装。原文使用rpm文件进行安装，但是rpm文件在网上已经很难找到免费下载源了。所以这里使用tar.gz压缩包 jdk7u79linuxx64.tar.gz 。

解决方案

1.将 jdk7u79linuxx64.tar.gz 上传到 /usr/java/ 中。并使用

tar -xvf   /usr/java/jdk7u79linuxx64.tar.gz

进行解压。

2.解压后在 /root/.bashrc文件中配置java环境变量。

export JAVA_HOME=/usr/java/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

这里的 jdk1.7.0_79 是 jdk7u79linuxx64.tar.gz 解压后的文件夹名称。

3.修改完成后使用

source /root/.bashrc

使java环境变量立即生效。

问题3

在更改第二台虚拟机node02的 ifcfg-eth0 完毕后，更新网卡时出现如下错误。

此时查看网卡信息发现ip地址未改变。

解决方案

service network restart

重新 ifconfig 看到ip地址更新了。

node03和node04同理。

问题4

启动hdfs时遇到了这个问题，即node01不能登录到其它虚拟机。

出现该现象的原因是四台服务器之间的免密码登录出现了问题。我们要重新配置四台服务器的免密码登录。

解决方案

1.对四台服务器都进行以下操作。

cd ~/.ssh/
rm -rf *

2.重新生成秘钥，生成秘钥时一直回车即可。

ssh-keygen -t rsa

3.将 node02~node04 的 id_rsa.pub 发送到 node01 。

#在node02执行
scp id_rsa.pub root@node01:$PWD/id_rsa.pub2
#在node03执行
scp id_rsa.pub root@node01:$PWD/id_rsa.pub3
#在node04执行
scp id_rsa.pub root@node01:$PWD/id_rsa.pub4

4.在node01中，将所有公钥写入authorized_keys

cat id_rsa.pub >> authorized_keys
cat id_rsa.pub2 >> authorized_keys
cat id_rsa.pub3 >> authorized_keys
cat id_rsa.pub4 >> authorized_keys

5.接着把node01的authorized_keys复制到node02~node04

scp authorized_keys root@node02:$PWD
scp authorized_keys root@node03:$PWD
scp authorized_keys root@node04:$PWD

6.最后，在node01重启hadoop

stop-dfs.sh
start-dfs.sh

参考资料

https://blog.csdn.net/yiqiaoxihui/article/details/101097327
https://blog.csdn.net/yiqiaoxihui/article/details/101109306
https://www.jianshu.com/p/70e9dcf61ef9
http://blog.sina.com.cn/s/blog_69516b7f01017azw.html
https://blog.csdn.net/hou_ge/article/details/107885211