先搭建单机hadoop,可以进入下面网址参考教程:
https://mp.csdn.net/postedit/88530014
1、先进行配置bash_profile
输入命令:vim ~/.bash_profile
进入文件里面配置下图的环境:(加入你的hadoop路径)
并生效环境变量:source ~/.bash_profile
加入jdk:
进入 cd /usr/local/hadoop/etc/hadoop/ 找到
hadoop-env.sh 文件:进入 vim hadoop-env.sh (Hadoop环境变量文件)
:set nu 显示段号找到27行加入jdk路径
找不到路径就
2、接下来配置四个文件(重点!!!绝对不能错)
先来认识一下几个必须认识的目录文件夹:
bin: 存放的是实现管理脚本和使用的脚本的目录;
sbin: 存放的是我们管理脚本的所在目录(例如:启动、停止运行的脚本);
etc:存放一些hadoop的配置文件;
lib:该目录下存放的是Hadoop运行时依赖的jar包,也就是hadoop编译时需要的本地库;
logs:该目录存放的是Hadoop运行的日志;
share:Hadoop各个模块编译后的jar包所在的目录;
hdfs:该文件夹下面是支持hdfs运行的jar包。
下图是总目录:(进入你的安装目录下面的etc目录下面的hadoop)
(1)、hdfs-site.xml //HDFS配置文件,该模板的属性继承于core-site.xml
代码如下:
<!--配置HDFS的冗余度>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
把代码加到:
(2)、core-site.xml //Hadoop核心全局配置文件,可以其他配置文件中引用该文件中定义的属性
<!-- 配置HDFS的NameNode主机地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://内网IP:9000</value>
</property>
<!-- 配置NameNode保存数据的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/haitao/hadoop/hp/tmp</value> //在你的hadoop文件下面新建tmp文件夹
</property>
查看内网IP : ip addr
把代码加到:
(3)、mapred-site.xml //MapReduce的配置文件,该模板的属性继承于core-site.xml
<!-- 配置MR运行框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
加入如下图:
(4)、yarn-site.xml
<!--配置resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>内网ip</value>
</property>
<!--配置Nodenamed的执行方式-->
<property>
<name>yarn.nodemanager.aux-service</name>
<value>mapreduce_shuffle</value>
</property>
加入如下图:
记得加入代码后:esc :wq 保存退出!!!!
3、格式化以及启动
进入hadoop目录下面执行格式化:
bin/hdfs namenode -format或者进入bin目录再执行:hdfs namenode -format
最后出现下图:
显示Exiting with status 0 就成功了!
接下来就是启动:
下图红框里面的分别是启动(start-all.sh )和关闭(stop-all.sh )
有些版本可能需要使用:sh start-all.sh 来启动!!!
启动成功如下图:
查看进程:jps
结果如下图:
一般到这里就成功了,你就可以去开启的服务器端口了:分别是9000;50070;8088 这三个端口
最后就可以在浏览器进行运行访问:
HDFS:http://你的ip:50070
Yarn:http://你的ip:8088
如下两图结果:
注意注意!!!!
如果过程出错或者是进程少了,一定要去查看logs日志:
你少了什么,哪里出错了就进那个log里面去看,然后去修改错误,修改前先把hadoop停止运行stop-all.sh !!!
修改后再启动!