Linux hadoop2.6.5搭建伪分布式

先搭建单机hadoop,可以进入下面网址参考教程:

https://mp.csdn.net/postedit/88530014

 

1、先进行配置bash_profile

输入命令:vim ~/.bash_profile 

 进入文件里面配置下图的环境:(加入你的hadoop路径)

并生效环境变量:source ~/.bash_profile   

加入jdk:

进入 cd /usr/local/hadoop/etc/hadoop/  找到

hadoop-env.sh 文件:进入    vim hadoop-env.sh     (Hadoop环境变量文件)

:set nu   显示段号找到27行加入jdk路径

找不到路径就

 

2、接下来配置四个文件(重点!!!绝对不能错

先来认识一下几个必须认识的目录文件夹:

bin: 存放的是实现管理脚本和使用的脚本的目录;

sbin: 存放的是我们管理脚本的所在目录(例如:启动、停止运行的脚本);

etc:存放一些hadoop的配置文件;

lib:该目录下存放的是Hadoop运行时依赖的jar包,也就是hadoop编译时需要的本地库;

logs:该目录存放的是Hadoop运行的日志;

share:Hadoop各个模块编译后的jar包所在的目录;

hdfs:该文件夹下面是支持hdfs运行的jar包。

 

下图是总目录:(进入你的安装目录下面的etc目录下面的hadoop)

(1)、hdfs-site.xml           //HDFS配置文件,该模板的属性继承于core-site.xml

代码如下:


<!--配置HDFS的冗余度>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

 把代码加到:

(2)、core-site.xml     //Hadoop核心全局配置文件,可以其他配置文件中引用该文件中定义的属性

<!-- 配置HDFS的NameNode主机地址-->
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://内网IP:9000</value>
</property>

<!-- 配置NameNode保存数据的位置-->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/root/haitao/hadoop/hp/tmp</value>  //在你的hadoop文件下面新建tmp文件夹
</property>

查看内网IP :   ip addr

把代码加到:

(3)、mapred-site.xml             //MapReduce的配置文件,该模板的属性继承于core-site.xml

<!-- 配置MR运行框架-->

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

加入如下图:

(4)、yarn-site.xml

<!--配置resourcemanager的地址-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>内网ip</value>
</property>

<!--配置Nodenamed的执行方式-->
<property>
   <name>yarn.nodemanager.aux-service</name>
   <value>mapreduce_shuffle</value>
</property>

加入如下图:

记得加入代码后:esc                    :wq 保存退出!!!!

3、格式化以及启动

进入hadoop目录下面执行格式化

bin/hdfs namenode -format或者进入bin目录再执行:hdfs namenode -format

最后出现下图:

   显示Exiting with status 0   就成功了!

接下来就是启动:

下图红框里面的分别是启动(start-all.sh )和关闭(stop-all.sh )

有些版本可能需要使用:sh start-all.sh  来启动!!!

启动成功如下图:

查看进程:jps

结果如下图:

一般到这里就成功了,你就可以去开启的服务器端口了:分别是9000;50070;8088 这三个端口

最后就可以在浏览器进行运行访问:

HDFS:http://你的ip:50070

Yarn:http://你的ip:8088  

如下两图结果:

 


 

注意注意!!!!

如果过程出错或者是进程少了,一定要去查看logs日志:

你少了什么,哪里出错了就进那个log里面去看,然后去修改错误,修改前先把hadoop停止运行stop-all.sh !!!

修改后再启动!

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值