hadoop 2.6.0 安装过程

最近才开始接触hadoop，最先要做的当然是安装hadoop 了，在安装hadoop之前需要作以下的一些准备

一个linux 环境，我使用vmware的虚拟机环境安装了centos

这个请自己百度一下吧，确实是太大了

jdk 1.6 以上的linux安装包

hadoop 2.6.0的安装包

注意，我使用的64位的linux，所以用的Java是64位的安装包

http://pan.baidu.com/s/1kT3PYLL

hadoop 集群支持三种模式

   1.单机模式

   2.伪分布是模式

   3.完全分布式

由于是学习使用，所以我安装第二种模式。

假设有一个已经安装好的linux环境，那么hadoop安装过程如下：

1. 安装Java

将上述java的安装包放到linux /usr/java目录下，赋给程序执行的权限

chmod +X jdk-6u45-linux-x64-rpm.bin

然后执行./jdk-6u45-linux-x64-rpm.bin 安装Java即可，

安装完成后还需要配置环境变量

vi ~/.bash_profile

加入下面这一段

export JAVA_HOME=/usr/java/jdk1.6.0_45

2.免密码ssh设置

命令如下

ssh-keygen -t rsa

然后一直enter，最后秘钥会保存在~/.ssh中，然后进入.ssh目录

执行如下命令

cp id_rsa.pub authorized_keys

最后使用ssh localhost 验证是否成功，如果不输入密码那就说明成功

3.解压hadoop

我提前将hadoop安装包放到了/tmp 目录下，然后进行解压

tar -zxvf  hadoop-2.6.0.tar.gz -C /hadoop

4.编辑 etc/hadoop/hadoop-env.sh,设置如下

export JAVA_HOME=/usr/java/lates

5.修改相关的配置文件

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5.验证是否安装成功

1. 格式化文件系统      $ bin/hdfs namenode -format
2. 启动dataNode和nameNode $ sbin/start-dfs.sh
3. 使用浏览器管理namenode   http://localhost:50070/