hadoop2.7.1 伪分布式搭建

原创 2015年12月14日 17:23:12

站在巨人的肩膀上: http://www.powerxing.com/install-hadoop-simplify/

本文适用于hadoop 2.x所有版本

OS:Ubuntu 14.04

Hadoop version: hadoop 2.7.1

JDK: 1.7


1. 前期准备

1.1 安装JDK 1.6以上版本

    1. $ sudo apt-get install openjdk-7-jre openjdk-7-jdk
    2. $ vim~/.bashrc# 设置JAVA_HOME
    3. #在/etc/profile中导入java环境变量
    4. $ sudo vim /etc/profile
    5. export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
$ source /etc/profile #使环境变量生效

1.2 配置ssh
$ sudo apt-get install openssh-server
$ ssh localhost  
$ exit  #退出localhost
#设置无密码登录
$ cd ~/.ssh  #在home目录下有一个隐藏文件.ssh
$ ssh-keygen -t rsa
$ cat id_rsa.pub >> authorized_keys
$ ssh localhost #登录localhost就不用再输入密码了
$ exit #退出localhost

2. 安装hadoop
http://mirror.bit.edu.cn/apache/hadoop/common/stable2/
$ wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.7.1.tar.gz ~  #将Hadoop2.7.1压缩包下载到home目录下
$ tar -xzvf hadoop-2.7.1.tar.gz #解压
$ sudo mv hadoop-2.7.1 /usr/local/ #将hadoop2.7.1移动到/usr/local目录下,个人习惯而已,喜欢安装在Home目录下的忽略此步
$ sudo chown -R user:user hadoop-2.7.1 #改变hadoop-2.7.1文件夹的所属群组,如果在/usr/local下必须要改,否则缺少一些权限
$ cd /usr/local/hadoop-2.7.1
$ ./bin/hadoop #验证

3. 伪分布模式配置
3.1 修改配置文件core.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:<strong><span style="color:#ff0000;">/usr/local/hadoop-2.7.1</span></strong>/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.2 修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-2.7.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-2.7.1/tmp/dfs/data</value>
    </property>
</configuration>

3.3 修改mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

3.4 修改yarn-site.xml
<span style="font-size:10px;"><configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration></span>

4. 启动hadoop
$ cd /usr/local/hadoop-2.7.1
$ sbin/start-all.sh
$ jps
Namenode
DataNode
NodeManager
ResourceManager
SecondaryNameNode


相关文章推荐

centos下hadoop2.7.1伪分布式搭建

Hadoop有三种运行模式,分别如下: 单机(非分布式)模式 伪分布式(用不同进程模仿分布式运行中的各类节点)模式 完全分布式模式 注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用...

hadoop2.7.1伪分布式集群中使用命令行运行WordCount例子~~~

我的hadoop版本2.7.1,JDK版本1.7。作为一个新手,今天利用windows下的Eclipse导入hadoop WordCount例子的源码,运行时却出现了众多错误,浪费了这么多时间,实在可...
  • yh22zz
  • yh22zz
  • 2015年07月31日 16:56
  • 1238

ubuntu部署hadoop2.7.1之单机模式与伪分布式模式

单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为...

在CentOS6.4 下以单机伪分布式模式安装hadoop2.7.1

记录了我在CentOS6.4 下安装hadoop2.7.1 的过程。

新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04

下述教程本人在最新版的Hadoop 2.7.1中测试通过,使用文件:hadoop-2.7.1.tar.gz  和 hadoop-2.7.1.tar.gz.mds。当开始着手实践Hadoop时,安装Ha...
  • undoner
  • undoner
  • 2015年08月31日 14:41
  • 1521

搭建Hadoop2.7.1的分布式集群

网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚。在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中...

hadoop2.4.1伪分布式搭建

  • 2016年12月11日 16:03
  • 4KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop2.7.1 伪分布式搭建
举报原因:
原因补充:

(最多只允许输入30个字)