hadoop单机环境搭建

 

 

 

 

Hadoop环境搭建

 

 

 

 

 

本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2，适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本。

本教程适用于单机环境（伪分布式）搭建，如果想进行完全分布式搭建，请参阅：http://blog.csdn.net/wuliowen/article/details/51921494

 

 

 

 

1、          创建hadoop用户

      i.         如果你安装 CentOS 的时候不是用的 “hadoop” 用户，那么需要增加一   个名为hadoop 的用户。

     ii.         可为 hadoop 用户增加管理员权限，方便部署

2、          准备工作

需要安装 SSH 和 Java。

3、          安装SSH、配置SSH无密码登陆

               i.         如果是分布式的话需要在多台服务器间设置免密码登录

4、          安装Hadoop2

               i.         将文档中自带的hadoop-2.6.0.tar.gz安装至/user/local中(下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz)

cd /usr/local/

sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop

sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

              ii.         Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd/usr/local/hadoop

./bin/hadoopversion

5、          Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

               i.         在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：

# Hadoop Environment Variables

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 

生效：source ~/.bashrc

              ii.         Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml,将当中的

<configuration>

    <property>

       <name>hadoop.tmp.dir</name>

       <value>file:/usr/local/hadoop/tmp</value>

       <description>Abase for other temporary directories.</description>

    </property>

    <property>

       <name>fs.defaultFS</name>

       <value>hdfs://localhost:9000</value>

    </property>

</configuration>

           同样的，修改配置文件 hdfs-site.xml：

           <configuration>

                     <property>

                             <name>dfs.replication</name>

                             <value>1</value>

                </property>

                     <property>

                         <name>dfs.namenode.name.dir</name>

                             <value>file:/usr/local/hadoop/tmp/dfs/name</value>

                     </property>

                     <property>

                             <name>dfs.datanode.data.dir</name>

                         <value>file:/usr/local/hadoop/tmp/dfs/data</value>

                     </property>

<property>

                              <name>dfs.namenode.secondary.http-address</name>

                              <value>localhost:50090</value>

                  </property>

</configuration>

6、          配置完成后，执行 NameNode 的格式化:

$  ./bin/hdfs namenode –format
成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错。

7、          配置文件 mapred-site.xml

               i.         重命名：

mv ./etc/hadoop/mapred-site.xml.template./etc/hadoop/mapred-site.xml

              ii.         再进行编辑

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property>

</configuration>

             iii.         接着修改配置文件 yarn-site.xml：

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

        </property>

</configuration>

8、          启动

./sbin/start-all.sh

./sbin/mr-jobhistory-daemon.shstart historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

9、          Jps查看

如果有这五个后台进程则说明hadoop部署成功