hadoop 2.6.4 伪分布集群搭建

原创 2016年06月28日 10:42:40

想要体验一下的强大功能,手头的资源各种受限,无奈只能配置个伪分布的自己耍耍,不过对于学习简单地使用hadoop还是没有问题的。下面列出操作的步骤:
ps: 本操作都是在root用户下进行的

1. 安装JDK和Hadoop2.6.4

去oracle的官网下载恰当版本的jdk,建议jdk7 或者jdk 8,这里以jdk-8u91-linux-x64.tar.gz 为例。下载完之后,将其解压到/usr/local/installed 目录的下

tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/installed/

去hadoop官网下载hadoop 2.6.4,下载完成之后,也将其解压到/usr/local/installed目录下

tar -zxvf hadoop-2.6.4.tar.gz -C /usr/local/installed

2. 配置HADOOP_HOME和JAVA_HOME

我这里主要将环境配置root用户目录下的,所以按照如下操作

vim ~/.bash_profile
在其中加入如下内容
HADOOP_HOME=/usr/local/installed/hadoop-2.6.4
JAVA_HOME=/usr/local/installed/jdk-8u91
将其添加到PATH中
PATH=PATH:HADOOP_HOME/bin:$JAVA_HOME/bin
保存退出后,将配置生效
source ~/.bash_profile

3. 修改hadoop-env.sh

进入hadoop的安装目录中的#HADOOP_HOME/etc/hadoop目录下,设置一下JAVA_HOME

export JAVA_HOME=/usr/local/installed/jdk-8u91

4. 修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/usr/local/installed/hadoop-2.6.4/tmp</value>
        </property>
</configuration>

上面的主机名称,请根据自己的主机配置一下,另外值得提醒一下的是临时目录的配置,需要实现创建/usr/local/installed/hadoop-2.6.4/tmp 目录

5. 修改hdfs-site.xml

<configuration>
       <property>
               <name>dfs.replication</name>
               <value>1</value>
       </property>  
</configuration> 

其中,副本数必须设置为1,因为是伪分布式,就一台机器
其次,访问namenode的hdfs使用的是50070端口,访问datanode的webhdfs使用50075端口。
如果想不区分端口,直接使用namenode的IP和端口来进行所有的webhdfs操作,就需要在所有的datanode上都设置hdfs-site.xml中的dfs.webhdfs.enabled为true。 当然这项配置不是必须的,可根据需要自行加入

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>

6. 配置mapred-site.xml

<configuration>
       <property>
             <name>mapreduce.framework.name</name>
                <value>yarn</value>
      </property>
</configuration> 

这里配置为yarn是方便后续的与spark进行集成的

7. 配置yarn-site.xml

<configuration>
        <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>localhost</value>
       </property>   
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
       </property>      
</configuration>  

至此,准备工作已经完成,下面开始格式化hdfs文件系统,并测试

8. 格式化hdfs 并启动hdfs

在命令行中运行如下

hdfs namenode -format

如果格式化,成功会有提示信息,出错的话则自己根据Log排除一下,主要的错误原因就是在配置的时候误写导致的。
启动hdfs:进入hadoop按照目录下的sbin中。即

cd $HADOOP_HOME/sbin
./start-dfs.sh

成功启动后,使用jps可以查看到如下的进程的信息:
jps查看hdfs是否已经成功启动

至此,你就可以对hdfs 文件系统的进行各种操作了,如查看根目录下的文件内容
hdfs dfs -ls /
其他的操作使用 hdfs dfs 回车后查看帮助信息

还可以浏览器中输入http://localhost:50070进行查看
在web界面中查看hdfs的监控信息

9. 启动yarn集群

上面的操作已经成功的配置并启动的hdfs文件系统,下面启动yarn并查看其web界面
进入hadoop的安装目录下的sbin目录,即

cd $HADOOP_HOME/sbin
./start-yarn.sh

成功启动后,使用jps可以查看到如下的新增加的进程的信息
这里写图片描述

看上以上信息,则说明yarn也成功启动了

这时候可以在浏览器中输入http://localhost:8088进行查看yarn的监控界面

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop2.6.4集群环境搭建全记录

折腾了两天,总算把环境搭起来了,由于很多资料都是基于Hadoop1.0的,而目前的2.0以上的Hadoop架构发生变化,因此一些老旧的资料就已经不再适用,而我又实在是不喜欢看官方文档,所以整理出这篇攻...
  • Jasonty
  • Jasonty
  • 2016年03月22日 21:07
  • 2748

Centos7 下 Hadoop 2.6.4 分布式集群环境搭建

摘要在实际集群上搭建 Hadoop 2.6.4 分布式集群环境。集群准备有五台机器,通过已经更改机器名称为master,slaver1,slaver2,slaver3,slaver4,并设置了面密码s...

hadoop2.6.4完全分布式集群安装(一)实现基本集群环境

hadoop 2.6.4 完全分布式安装,网上能找到的文章,不知道为何总是有各种问题。 在此,及其详细的描述了每个步骤,从操作系统到集群安装,再到各种基本验证。 本文没有上来就建立HA,先从基本集群安...
  • fd_mas
  • fd_mas
  • 2016年06月04日 22:41
  • 3075

hadoop2.6.4 安装和编译

hadoop集群搭建tools:SecureCRT8.0 VMware12 RHEL 6.6 x64网络规划:hadoop0 192.168.248.150 hadoop1 192.168.24...

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6版本集群环境搭建...

Hadoop2.6.4 集群搭建

hadoop 2.6.4 集群 搭建

Centos7 下 Hadoop 2.6.4 分布式集群环境搭建

摘要 在实际集群上搭建 Hadoop 2.6.4 分布式集群环境。 集群准备 有五台机器,通过已经更改机器名称为master,slaver1,slaver2,slaver3,slav...
  • w0823m
  • w0823m
  • 2017年04月19日 09:31
  • 275

Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程

部分内容参考Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04本文从头开始零基础完全配置,适合小白。 本文在vmware中配置三台虚拟机,一台做Master,两...

Hadoop 2.5.0伪分布集群搭建

先作一个集群配置规划,我这里是模拟三个节点,我这里已装好一台了一个节点--bigdata01,配置过程请参考另一篇文章: computer hardware so...
  • sfrem
  • sfrem
  • 2016年01月29日 11:26
  • 232

hadoop1.2.1在linux中配置安装独立运行Standalone Operation,伪分布Pseudo-Distributed Operation,集群配置三种配置和测试

1:安装sun jdk 我此处用的另一篇文章中的命令,但是安装的貌似是OPenJDK,老师要求不能安装这个一定要是sunjdk,否则后面会后问题,我决定后面有问题时我再改。而且此处我安装后...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop 2.6.4 伪分布集群搭建
举报原因:
原因补充:

(最多只允许输入30个字)