阿里云hadoop安装教程_完全分布式_Hadoop 2.7.4/CentOS 7.4

一、环境

本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。

 

二、配置服务器hostname

进入实例的基本信息页面，点击修改信息

修改HostName，NameNode节点对应的HostName为master，DataNode节点对应的HostName为node1

 

三、修改hosts(最好使用内网IP)

四、SSH无密码登录

无论是集群还是单机模式都需要配置SSH无密码登录，而且该步骤不可以忽略。

 

利用ssh-keygen生成密钥，在生成的过程中一直按回车就可以。

加入到授权中

将id_rsa.pub拷贝到node1节点上（此时需要输入node1节点上root用户的密码）

登录到node1节点，并将上一步拷贝的id_rsa.pub加入到授权中，步骤同上，即cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

登录到master，测试免密登录是否成功，若此时不需要输入node1的密码即可直接登录，说明配置成功。

五、JAVA安装

解压jdk压缩包到指定目录

配置环境变量

使配置的环境变量生效

使用java -version测试安装是否成功

注：在node1进行同样的安装

 

六、hadoop安装

解压到指定目录

配置环境变量

使配置的环境变量生效

使用hadoop version测试安装是否成功

注：在node1上进行同样的安装

 

七、配置hadoop

切换目录

修改core-site.xml如下：

修改hdfs-site.xml如下：

将mapred-site.xml.template拷贝一份并命名为mapred-site.xml

修改mapred-site.xml如下：

修改yarn-site.xml如下：

修改slaves如下：

修改hadoop-env.sh如下：

注：将上述的配置文件拷贝一份到node1对应的目录中

 

八、格式化hdfs

成功后

 

九、启动进程

进入到sbin目录，执行脚本

使用jps命名查看结果，结果中共包含5个进程：NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager;

 

十、使用自动的wordcount进行测试

创建用户目录

将要进行统计的文件(我这里是一个txt文件)拷贝到hdfs上

执行自带的wordcount例子，并将结果输出到output2中(如果已经存在output2则会报错，使用hdfs dfs -rm -r filename删除即可)

通过浏览器访问master的8088端口即可查看执行进度(如果通过外网访问，则要配置阿里云的安全组规则)