hadoop源码研究 一（环境准备）

安装准备

免密码配置

环境：VM Fusion创建的5台虚拟机（centos7）

主机名	服务
s0	主节点
s1	主节点
s2	slave
s3	slave
s3	slave

1. 分别配置从s0,s1到s0-s5的免密；
   本人采用hadoop用户搭建，因此首先在5台Linux服务器上分别创建hadoop用户。创建命令如下：
   groupadd hadoop；
   useradd hadoop -g hadoop
   创建完毕后，通过id user查看。
   
2. 分别在5台服务器上生成hadoop用户公私钥。命令如下:
   ssh-keygen -t rsa
   执行过程中会有3次输入存储公私钥文件等提示，输入回车即可。
   完毕后在/home/hadoop下会创建.ssh目录，有两个2个文件。
   
3. 配置s0 --> s0 的ssh免密码登录。执行命令：
   cd ~/.ssh;cat id_rsa.pub > authorized_keys
   配置完毕后ssh本机不再提示输入密码。
   
4. 同理配置s1 --> s1的免密码；
5. 收集s0，s1的公钥，配置于s0.
6. 将s0服务器上~/.ssh/authorized_keys 分发到s1–s4。
   至此，两个master节点s0，s1到slave节点的免密码配置完成。

准备hadoop安装包

hadoop版本选择hadoop-3.1.0,采用编译源码方式。编译方式简单分享下。
去hadoop官方网站下载hadoop-3.1.0源码，官方网址：
https://hadoop.apache.org/releases.html

其他版本下载地址：
http://mirror.bit.edu.cn/apache/hadoop/common/

下载完成后，配置本地环境开始编译。
具体编译步骤就不再详细介绍，很简单，参看这篇帖子：
https://blog.csdn.net/qq_14811559/article/details/80308434

下篇介绍hadoop安装