Hadoop2.2.0稳定版安装伪分布式模式Hadoop2.0入门学习一

最新推荐文章于 2016-05-04 17:56:00 发布

champion_风雨中

最新推荐文章于 2016-05-04 17:56:00 发布

阅读量1.9k

点赞数 1

分类专栏：大数据 hadoop 文章标签：分布式 hadoop

本文链接：https://blog.csdn.net/champion2009/article/details/17716131

版权

大数据同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

hadoop

2 篇文章 0 订阅

订阅专栏

一：环境准备

1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。

2 :修改hostname。使用命令hostname localhost（如需重启后生效，可以修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1 localhost即可。

3：jdk安装（大家可根据操作系统的版本安装相应的JDK，建议1.6以上版本），我的虚拟机是32位的，可下载jdk-6u43-linux-i586.bin文件，上传到/home/software目录下，用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装，默认路径在/home/software/jdk1.6.0_43目录中。

4：配置JAVA_HOME。在/etc/profile文件中添加

export JAVA_HOME=/home/software/jdk1.6.0_43

export PATH = $PATH:$JAVA_HOME/bin

保存后用命令source /etc/profile使环境配置修改生效。

用命令java、javac、java -version测试jdk是否成功。

二 :免密码ssh设置

`1`	`ssh-keygen -t rsa`

一直按<Enter> 由于不设置密码，所以就一直回车就行。

如果是root用户，默认生成文件在/root/.ssh中，进入目录中，使用命令cp id_rsa_put authorized_keys

生成authorized_keys。

测试：

`1`	`ssh localhost`

如果不需要输入密码即设置成功，恭喜你，可以进入下一步了。

三、下载hadoop2.2.0包解压安装。

大家可以自行到www.apache.org官网下载安装，也可以到下面http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/这个地址下载hadoop-2.2.0.tar.gz这个包，下载好后放入/home根目录下，用命令tar -zxvf hadoop-2.2.0.tar.gz解压即可。

在/home目录下会生成hadoop-2.2.0目录，为了便于升级和管理，增加一个链接目录，用命令ln -s hadoop2.2.0 hadoop既可。

最后配置HADOOP_HOME的环境变量

同JAVA_HOME类似，在/etc/profile文件中添加

export HADOOP_HOME=/home/hadoop即可。

至此hadoop环境及环境变量已经安装完毕，够简单吧，够帅吧，离成功越来越近。

let's go!

四：修改配置文件

修改的文件都在/home/hadoop/etc/hadoop下：
core-site.xml、hdfs-site.xml、yarn-site.xml 、mapred-site.xml. 四个文件
文件说明（略）
配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_tmp</value>
</property>

添加hdfs的指定URL路径，由于是伪分布模式，所以配置的是本机IP ，可为真实ip、localhost。

2、hdfs-site.xml

`1`	`<property>`

`2`	`<name>dfs.namenode.name.dir</name>`

`3`	`<value>/home/namenode</value>`

`4`	`</property>`

5

`6`	`<property>`

`7`	`<name>dfs.datanode.data.dir</name>`

`8`	`<value>/home/datanode</value>`

`9`	`</property>`

主要是对namenode 和 datanode 存储路径的设置。为了便于管理，最好配置一下。

3、mapred-site.xml

`1`	`<property>`

`2`	`<name>mapreduce.framework.name</name>`

`3`	`<value>yarn</value>`

`4`	`</property>`

hadoop2.0有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了，这里也就指定yarn。

4、yarn-site.xml

为了简单，快速做测试，使用默认的即可。

五 :hadoop启动

启动的文件都是 sbin下，bin下的都是命令。
使用命令cd $HADOOP_HOME切换到该安装目录下
首先格式化 namenode

`1`	`bin/hdfs namenode -format`

确定不报错，且出现

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at startos/localhost
************************************************************/

启动namenode