[Hadoop]Hadoop的安装与配置

        操作系统：ubuntu 14.04 LTS

        Java 版本：openjdk-1.7.0_91

        Hadoop 版本：hadoop-1.2.1 （下载地址：hadoop-1.2.1）

安装

        下载 hadoop-1.2.1.tar.gz 后，将其移动到 /opt 目录下：

sudo mv hadoop-1.2.1.tar.gz /opt

        解压：

sudo tar -zxvf hadoop-1.2.1.tar.gz

配置

        进入 hadoop-1.2.1/conf 目录，执行以下配置：

        1. 修改 hadoop-env.sh 文件，配置 JAVA_HOME 为本机所安装的 jdk 路径：

        2. 修改 core-site.xml 文件，进行如下配置：

        其中 fs.default.name 的 value 中 //rendp:9000 为 主机名:端口号。

        3. 修改 hdfs-site.xml 文件，进行如下配置：

        4. 修改 mapred-site.xml 文件，进行如下配置：

        其中 value 值 rendp:9001 为 主机名:端口号。

        以上的文件配置完成之后，修改 /etc/profile 文件，增加 HADOOP_HOME，如下图：

        修改完 /etc/profile 文件后，执行以下命令：

source /etc/profile

        接下来，进入 hadoop-1.2.1/bin 目录，进行 hadoop 的 namenode 的格式化，执行如下命令：

hadoop namenode -format

       注意，由于之前配置 hadoop 文件系统为 /hadoop 目录，因此可能由于权限问题导致格式化失败，此时通过手动建立 /hadoop 目录并用 chmod 命令对 /hadoop 目录进行修改即可。

sudo mkdir /hadoop
sudo chmod -R a+w /hadoop

        接下来，可以运行 start-all.sh 启动 hadoop，注意，此时可能由于权限问题导致启动失败，使用 chmod 命令修改 hadoop-1.2.1 目录的权限即可正确启动。

        以上步骤完成了 hadoop 的安装和配置，执行 jps 命令可以查看到如下信息，说明 hadoop 已可正确运行。