Hadoop技术内幕:环境准备(1)

1.搭建环境所需的各种软件及下载方式

软件	下载网址	推荐版本	说明
JDK	oracle	1.6以上
Ant	http://ant.apache.org	1.6.0以上	windows和Linux使用相同安装包
Cygwin	http://www.cygwin.com	最新版本	只windows平台需要
Eclipse	http://www.eclipse.org

 

2. 准备windows环境

假设软件安装目录为d:\hadoop, 且最终安装完成目录结构如下：

d:\hadoop

    |---apache-ant-xxx

    |----cygwin

    |---Java

             |---jdk-xxx

2.1 JDK安装

下载JDK并且按照向导安装完成，然后设置环境变量：

JAVA_HOME= 你jdk安装目录

并且把 %JAVA_HOME%/bin 加到windows PATH中。

2.2 Ant安装

假设你下载的安装包为： apache-ant-1.8.4.zip，直接解压到d:\hadoop下，并添加环境变量ANT_HOME，设置其值；并且在环境变量PATH中添加 %ANT_HOME%/bin.

/×××××××××××××××××××××××××××××××××××××以上安装有问题可以google×××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××/

2.3 Cygwin安装

1. 在安装cygwind时一定要选中安装 openssh server 和client 包。
2. 安装并启动ssh服务

hadoop启动/停止脚步需要通过ssh发送命令启动相关守护进程，所有需要安装sshd服务。安装sshd服务的方法是，以管理员身份打开cygwin命令行终端，然后输入以下命令：

        ssh-host-config

接着，按照命令行中的提示进行安装。（都选yes）

安装完毕后，输入以下命令启动ssh服务：

        net start sshd

2.4 eclipse安装

下载官网提供的eclipse 并且自己解压到 d:\hadoop\ 下即可使用。

2.5 hadoop源码安装

从apache hadoop下载最新1.2.1 源代码，解压到 D:\hadoop\hadoop-1.2.1.

3. 准备Linux环境

在Linux环境中，也要安装JDK, ANT, eclipse，就不具体介绍如何安装了。

4. hadoop初体验

4.1 启动hadoop

步骤1  修改hadoop配置文件。在conf目录下，修改mapred-site.xml core-site.xml hdfs-site.xml三个文件，在<configuration> 与</configuration>之间添加以下内容。

• mapred-site.xml

?

1 2 3 4

< property >          < name >mapred.job.tracker</ name >          < value >localhost:9001</ value >      </ property >

• core-site.xml

?

1 2 3 4

< property >      < name >fs.default.name</ name >      < value >hdfs://localhost:9000</ value > </ property >

• hdfs-site.xml

?

1 2 3 4 5 6 7 8 9

< property >      < name >dfs.replication</ name >      < value >1</ value > </ property >   < property >      < name >dfs.permissions</ name >      < value >false</ value > </ property >

添加JAVA_HOME环境变量到 hadoop-env.xml中，添加如下配置：

export JAVA_HOME=D:/Java/jdk1.6.0_35

步骤2  设置免密码登录。前面提到hadoop启动/停止脚步时需要通过ssh发送命令启动相关守护进程，为了避免每次启动/停止hadoop输入密码进行验证，需要设置免密码登录，步骤如下：

1) 打开命令行终端（windows下为cygwin，Linux下为shell，下同），输入如下命令：

                        ssh-keygen -t rsa

执行以上命令后，将会在 ” ~/.ssh/"目录下生成公钥文件id_rsa.pub和私钥文件 id_rsa.

2) 将公钥文件复制到同一目录下authorized_keys文件中：

                   cat id_rsa.pub >> authorized_keys.

步骤3   启动hadoop。在hadoop安装目录中，按以下两部操作启动hadoop。

1） 格式化HDFS

        $ ./hadoop namenode -format

2) 启动hadoop

     $ ./start-all.sh

通过以下URL查看mapreduce是否启动成功：

        http://localhost:50030

 

通过以下url查看hdfs是否启动成功：

        http://localhost:50070

结果如图：

文山博客www.wenshan.me， 我的个人网站.