假期第三周学习记录
参考教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos和https://blog.csdn.net/hliq5399/article/details/78193113
1.安装Hadoop2
下载链接: http://mirror.bit.edu.cn/apache/hadoop/common/
我下载的2.7.7版本的
2.执行例子感受一下Hadoop的运行
执行成功如下图
查看结果:
3.Hadoop伪分布式配置
设置Hadoop环境变量
在最后加上如图所示内容:
保存后退出,执行如下命令使配置生效:
修改配置文件 core-site.xml
更改内容:
修改配置文件 hdfs-site.xml
修改内容:
配置完成后,执行 NameNode 的格式化:
成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。
接着开启 NaneNode
和 DataNode
守护进程:
出现如下框内内容回答yes
使用命令jps判断是否成功启动,成功启动出现如下图所示:
运行Hadoop伪分布式实例
运行结果:
4.启动YARN
注意:
不启动 YARN 需重命名 mapred-site.xml
如果不想启动 YARN,务必把配置文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,需要用时改回来就行。否则在该配置文件存在,而未开启 YARN 的情况下,运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误,这也是为何该配置文件初始文件名为 mapred-site.xml.template。
开启yarn,可在http://localhost:8088/cluster,中查看任务运行情况