攻城狮在路上（陆）-- hadoop单机环境搭建（一）

一、环境说明：

    操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
    jdk版本：java version "1.7.0_79"
    hadoop版本：Apache hadoop-2.5.2

二、下载软件：

    从Apache官方地址http://apache.dataguru.cn/hadoop/common/hadoop-2.5.2/目录下载

hadoop-2.5.2.tar.gz  

解压：

tar -zxvf hadoop-2.5.2_x64.tar.gz hadoop-2.5.2

    拷贝到/usr/local/目录下：

cp hadoop-2.5.2 /usr/local/

    如上，相当于将hadoop安装到了/usr/local/hadoop-2.5.1目录下。

三、单机版修改配置文件：

     首先切换到hadoop安装目录下：

/usr/local/hadoop-2.5.2

1、修改etc/hadoop/hadoop-env.sh文件：

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/jdk1.7.0_79

  # Assuming your installation directory is /usr/local/hadoop-2.5.2
  export HADOOP_PREFIX=/usr/local/hadoop-2.5.2

其实在原来的配置文件中已经提供了JAVA_HOME的配置，如果在系统环境变量中已经配置过的话，此处可以省略。

2、测试一下，运行bin/hadoop命令：效果如下图

3、继续测试另一个示例：这里相当于运行了一个任务，计算结果写入到了output目录下。

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*

四、伪分布式配置：

1、修改etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2、修改etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、配置免密码登录以及测试：

$ ssh-keygen -t rsa   #一路回车

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ssh localhost

4、执行：

①格式化文件系统：

$ bin/hdfs namenode -format

②启动NameNode守护进程：

$ sbin/start-dfs.sh

③在浏览器中打开：http://localhost:50070/

转载于:https://www.cnblogs.com/tq03/p/5093167.html