CentOS 64位系统环境下Hadoop2.6伪分布式安装笔记

按照网上大多说博客安装都失败了，特此总结。

hadoop下载：http://mirror.bit.edu.cn/apache/hadoop/common/；http://mirrors.cnnic.cn/apache/hadoop/common/ 

在安装 Hadoop 前还需要做一些必备工作。

1、首先以 root 用户登录，接着执行命令创建新用户 hadoop:

useradd -m hadoop -s /bin/bash   # 创建新用户hadoop

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。

使用如下命令修改密码，按提示输入两次密码，可简单的设为 “hadoop”（密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）:

passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：

visudo

找到  root ALL=(ALL) ALL  这行，然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab）
添加上一行内容后，先按一下键盘上的  ESC  键，然后输入  :wq  (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。

2、安装SSH、配置SSH无密码登陆

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys  # 加入授权
chmod 600 ./authorized_keys    # 修改文件权限

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了

3、 安装Java环境

Hadoop 在 OpenJDK 1.7 下运行是没问题的。需要注意的是，CentOS 中默认安装的只是 Java JRE，而不是 JDK，为了开发方便，我们还是需要通过 yum 进行安装 JDK，安装过程中会让输入 [y/N]，输入 y 即可

sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

通过上述命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/java-1.7.0-openjdk

接着需要配置一下 JAVA_HOME 环境变量：

vim ~/.bashrc

在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk

还需要让该环境变量生效，执行如下代码：

source ~/.bashrc  

3、安装 Hadoop 2

下载时请下载  hadoop-2.x.y.tar.gz  这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

  
  
cd /usr/local/hadoop
./bin/hadoop version

Hadoop伪分布式配置

在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：

  
  
vi ~/.bashrc

    
    
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，不要忘记执行如下命令使配置生效：

  
  
source ~/.bashrc

Hadoop 的配置文件位于  /usr/local/hadoop/etc/hadoop/  中，伪分布式需要修改2个配置文件  core-site.xml  和  hdfs-site.xml  。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml 

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改配置文件 hdfs-site.xml：

  
  
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

XML

配置完成后，执行 NameNode 的格式化:

  
  
./bin/hdfs namenode -format

Shell 命令

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程：

  
  
./sbin/start-dfs.sh

Shell 命令

若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。

启动完成后，可以通过命令  jps  来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和 SecondaryNameNode （如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

附加几个链接：

http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

http://dblab.xmu.edu.cn/blog/hadoop-build-project-by-shell/

http://blog.sina.com.cn/s/blog_68cceb610101r6tg.html