Hadoop配置安装

自己做实验，用了两个笔记本装Hadoop，采用虚拟机，总共三个节点，总结一下安装过程：

1. 安装JDK：

• 下载JDK，采用“wget + 下载网址”的方式直接把JDK下载到其中一个节点；
• 采用“tar -xzvf  + 下载压缩包名”将下载压缩包进行解压；
• 采用mv命令将解压的压缩包移到/usr目录下（可选，非必须）；

2.  配置免密码登陆：

• ssh-keygen  -t  -rsa命令产生相关密钥文件，密钥文件默认生成在.ssh文件夹下；
• 进入到.ssh文件夹下，采用”scp ./id_rsa.pub  用户名@主机名:/root/.ssh/authorized_keys"命令将公钥文件id_rsa.pub拷贝到另一个节点，查看是否复制成功以及文件权限是否是-rw-r--r--；
• ssh+主机名，登陆验证是否免密码配置成功；
• ctrl+d可以退出ssh

3.安装配置hadoop:

• 下载hadoop,然后解压（同jdk)；
• 修改hadoop-env.sh:设置javahome（去掉第九行前边的#号，修改相应javahome路径）；
• 修改core-site.xml;
• 修改hdfs-site.xml文件；
• 修改mapred-site.xml文件；
• 修改masters文件；

4.修改每个节点的/etc/hosts文件，将ip地址与主机名对应；

5.关闭防火墙；

6.将配置好的hadoop分发给其他节点；(scp -r ./hadoop-1.1.2........);

7.格式化namenode（bin/hadoop namenode -format);

8.启动hadoop,若部分进程启动，需采用kill -9 +进程号杀掉启动进程再重新启动；

9.若启动hadoop时需要输入本机密码，则需要将.ssh文件夹中的id_rsa.pub文件拷贝到authorized_keys文件中；