hadoop搭建(2.6.4)

1. 环境准备

安装软件如下
- jdk安装 (1.8.0_101)
- hadoop安装 (2.6.4)

1-1. jdk安装

a. 官方下载jdk：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

b. 下载rpm包直接安装(注意区分i586和x64版本，我这边系统都是使用的x64)：

    rpm -ivh jdk-8u101-linux-x64.rpm

c. 设置环境变量：

(1)在/etc/profile的最下面添加以下内容(vi /etc/profile)

    export JAVA_HOME=/usr/java/jdk1.8.0_101
    export CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"
    export PATH="$JAVA_HOME/bin:$PATH"

(2)执行source /etc/profile

(3)执行下面命令，查看环境变量是否设置成功

    echo $ JAVA_HOME
    echo $ CLASSPATH
    echo $ PATH

(4)执行java命令查看是否安装成功

    java –version
输出:
    java version "1.8.0_101"
    Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
    Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

1-2. hadoop安装

a. 添加hadoop用户：

    useradd hadoop
    passwd hadoop
    groupmems –a hadoop –g hadoop

b. 官网下载hadoop： http://hadoop.apache.org/releases.html

我这边为了方便，直接下载编译后的文件，也可以下载source文件自己进行编译(./configure, make, make install)。

c. 解压hadoop：

将hadoop移动到安装目录开始解压。

  mv hadoop-2.6.4.tar.gz /usr/hadoop/.
  tar -zxvf hadoop-2.6.4.tar.gz

d. 查看hadoop安装是否成功：

进入bin目录

  cd /usr/hadoop/hadoop-2.6.4/bin/

执行hadoop程序查看版本：

  ./hadoop version
输出:
  Hadoop 2.6.4
  Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r     5082c73637530b0b7e115f9625ed7fac69f937e6
  Compiled by jenkins on 2016-02-12T09:45Z
  Compiled with protoc 2.5.0
  From source with checksum 8dee2286ecdbbbc930a6c87b65cbc010
  This command was run using /usr/hadoop/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar

2. hadoop配置

2-1 配置文件描述

hadoop共有三个核心配置文件，分别是core.xml,hdfs-site.xml, mapred-site.xml.
(a) core.xml指的全局配置项，配置如下(注释说明新增配置项)：

• fs.default.name指hdfs的RPC地址信息，配置一个未被占用端口即可
• hadoop.tmp.dir存放hdfs的存储目录信息

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--新增属性-->
    <property>
            <name>fs.default.name</name>
            <value>hdfs://0.0.0