第三周学习总结

假期第三周学习记录

参考教程：http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos和https://blog.csdn.net/hliq5399/article/details/78193113

1.安装Hadoop2

下载链接： http://mirror.bit.edu.cn/apache/hadoop/common/ 

我下载的2.7.7版本的

2.执行例子感受一下Hadoop的运行

 

 

 

执行成功如下图

 

 

 

查看结果：

3.Hadoop伪分布式配置

设置Hadoop环境变量

 

 

 

 在最后加上如图所示内容：

 保存后退出，执行如下命令使配置生效：

 

 

 

 修改配置文件 core-site.xml 

更改内容：

 修改配置文件 hdfs-site.xml

 

修改内容：

配置完成后，执行 NameNode 的格式化：

 

 

 

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程：

 

 

出现如下框内内容回答yes

 

 

 使用命令jps判断是否成功启动，成功启动出现如下图所示：

 

 

 运行Hadoop伪分布式实例

运行结果：

4.启动YARN

 

 

 

注意：

不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。

开启yarn，可在http://localhost:8088/cluster，中查看任务运行情况

 

转载于:https://www.cnblogs.com/muailiulan/p/11503383.html