一、在Linux中配置Hadoop运行环境。
- 两个必要的程序:JDK(1.7或更高版本)和SSH(安全外壳协议)主要用于主机间的免密登录。
1.用户创建
- 首先创建hadoop用户组,输入命令:
groupadd hadoop
- 创建hduser用户,输入命令:
useradd -g hadoop hduser
- 设置hduser密码,输入命令:
passwd hduser
按提示输入两次密码即可。
- 为hduser用户添加权限,输入命令:
#修改权限
chmod 777 /etc/sudoers
#编辑sudoers
gedit /etc/sudoers
#还原默认权限
chmod 440 /etc/sudoers
在编辑窗口中找到“root ALL=(ALL) ALL”,紧跟后面新加行“hduser ALL=(ALL) ALL”,将hduser添加到sudoers中。
- 设置好后重启虚拟机,输入命令:
sudo reboot
重启后切换到hduser用户登录。
2.安装JDK
提供JDK下载路径:https://pan.baidu.com/s/1AjqbMvo-a7u5aqTnjclLWw 提取码:q5mr
- 下载jdk-7u67-linux-x64.rpm,并进入下载目录
- 运行安装命令:
sudo rpm -ivh jdk-7u67-linux-x64.rpm
完成后查看安装路径,输入命令:
rpm -qa jdk -l
记住该路径:如“/usr/jdk1.7.0_67”
- 配置JDK环境变量,输入命令:
sudo gedit /etc/profile
打开profile文件,在文件最后输入以下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
保存后关闭,然后输入以下命令使环境变量生效:
source /etc/profile
- 验证JDK是否安装成功,输入命令:
java -version
若出现版本号,表示安装大功告成了。
3.配置本机SSH免密码登录
- 使用ssh-keygen生成私钥与公钥文件,输入以下命令:
ssh-keygen -t rsa
每运行一步需要敲一次回车。
- 私钥保留在本机,公钥分发给其他主机(现在是localhost本机)。输入命令:
ssh-copy-id localhost
- 现在可以免密登录了。客户端(发钱连接请求)利用私钥签名,服务端(接受连接请求),使用公钥来认证,输入命令:
ssh localhost
- 配置其他主机SSH登录
克隆两台主机。
- 修改每台主机的hostname及hosts文件
修改hostname,分别在每台主机中输入命令:
sudo gedit /etc/sysconfig/network
该命令会打开network文件,打开后找到hostname这行,在各个主机分别赋值:如:"node1","node2","node3",此后我们就可以 直接利用这三个标识来访问这三个主机
- 修改hosts文件,输入命令:
sudo gedit /etc/hosts
在打开的文件最下面添加,三台主机的IP地址与hostname映射。
- 给后面克隆的主机分别发送如下命令:
ssh-copy-id node2
ssh-copy-id node3
- 测试SSH是否成功,输入以下命令:
ssh node2
#退出登录
exit
ssh node3
exit
最后大功告成。