学习日记29--Hadoop完全分布模式搭建

1.安装jdk

1. oracle官网下载jdk安装包（本例使用Java8），使用tar -xzvf jdk… 解压安装。
2. 在/usr目录下新建soft目录，cd /usr ; sudo mkdir soft ;
3. 修改soft文件夹的读写权限，sudo chmod a+w soft ;用ls -al 查看权限
4. 移动jdk至soft文件夹：mv jdk.. /usr/soft
5. 进入到jdk的bin目录：cd /usr/soft/jdk../bin （仅查看，可跳过此步）
6. 配置环境变量：cd /etc ; sudo nano environment ; 在PATH上方新建一行并输入JAVA__HOME=/usr/soft/jdk…(位置自行查询)；将PATH路径最后的games：之后的路径改为/usr/soft/jdk…/bin ; 保存退出：ctrl+o保存，enter确定，ctrl+x退出；source environment 使其立即生效；echo $JAVA_Home 显示结果
7. java -version 命令测试Java是否安装成功

2.安装Hadoop

1. 打开官网www.apache.org，在project中找到Hadoop，进入download hadoop，选择hadoop版本（本例使用2.7.7），点击binary进入下载页面，选择最上方的下载链接下载。
2. cd Download文件夹，用tar -xzvf hadoop.. 解压安装。
3. 移动至soft文件夹：mv hadoop.. /usr/soft
4. 添加环境变量：cd /etc ; sudo gedit environment 打卡环境变量设置；在上方新建一行并输入HADOOP_INSTALL=/usr/soft/hadoop…; 在PATH路径最后加上“ : /usr/soft/hadoop…/bin:/usr/soft/hadoop…/sbin ”(其中：为分隔符不可省略)；source environment 使其立即生效；echo $PATH 显示结果
5. 使用hadoop version 检查是否安装成功，需要重启系统使JAVA生效

3.配置Hadoop独立模式

1. jps命令查看进程
2. hadoop fs -ls 即使用hadoop形式下的ls命令
3. 独立模式并不是分布式存储

4.配置Hadoop伪分布模式

1. cd /usr/soft/hadoop…/etc 目录下只有一个hadoop文件夹，对它进行复制，cp -R hadoop hadoop_pseudo
2. 进入hadoop_pseudo目录，对其中的site文件进行编辑，sudo gedit *-site.xml 打开所有xml文件，并修改其内容。参考伪分布模式配置
3. 启动守护进程，配置 SSH权限认证。sudo apt-get install ssh 进行安装，用which ssh-keygen 查看是否有秘钥生成器keygen
4. 回到主目录 cd ~ ; ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
5. 进入 cd .ssh ,下有两个文件 id_rsa ; id_rsa.pub
6. cat id_rsa.pub >> authorized_keys
7. ssh localhost ,选择yes完成配置，exit退出ssh模式。cd .ssh 目录下有known_hosts时配置成功
8. 再次ssh localhost， 此时不需要密码。
9. cd .ssh 进入/.ssh 目录； hadoop namenode -format 进行格式化
10. 启动守护进程：进入 cd /usr/soft/hadoop…/etc 目录，start-dfs.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo ; 选择yes； start-yarn.sh --config$HADOOP_INSTALL/etc/hadoop_pseudo ；
11. jps -l 查看守护进程：应包含 NameNode，Jps，SecondaryNamenode，NodeManager，ResourceManager，DataNode （可自行查看类完整名的源代码进行学习）
12. 通过http://localhost:50070/ 查看名称节点，http://localhost:8088/
13. 关闭进程：stop-yarn.sh, stop-dfs.sh
14. 启动的快捷方式：start-all.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo
15. 在 /usr/soft/hadoop…/etc 目录下， export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop_pseudo ; 此时，用 hadoop fs -ls / 显示为空； 用 hadoop fs -mkdir /user/ 创建用户目录，再用hadoop fs -ls / 查看是否创建成功。

5.配置Hadoop完全分布模式

1. 【如无需要，跳过此步】更改虚拟机目录和名称。首先，把原虚拟机文件夹复制到新的目录下，在vm配置中更改虚拟机名称，为了保持一致，把复制过来的文件夹及里面的文件通通改名。最后打开里面的后缀为vmx，vmxf文件，更改相应位置的名称。再在虚拟机配置中选择相应的工作目录即可。
2. 【？？】使用符号链接实现配置分离，参考链接。 先重命名hadoop为独立模式，cd /usr/soft/hadoop…/etc ; mv hadoop hadoop_alone ; cp -R hadoop_pseudo hadoop_cluster 建立集群型hadoop； ln -s hadoop-cluster hadoop 建立符号链接，等价与Windows中的快捷方式。
3. 克隆三台虚拟机。原先的虚拟机作为名称节点s1。 确保虚拟机处于关闭状态，右键管理，选择克隆，选择完全克隆，更改名称和保存位置即可。在网络适配器的高级设置中可以重新生成mac地址。克隆3台（2台数据节点，1台次级名称节点）。 修改虚拟机主机名s2,s3,s4，便于区分各客户机。
4. 通过hosts文件配好各台机器的ssh远程无密登录。
5. 修改各节点机器的xml文件ip配置，可使用远程拷贝。再进行格式化启动。

补充知识：

1.vmtools不生效的解决方法 ：sudo apt-get install open-vm-tools-desktop（此步骤最为重要，open-vm-tool 为官方推荐的开源版本，这里是安装其中的桌面环境） reboot 重启