1.搭建环境所需的各种软件及下载方式
软件 | 下载网址 | 推荐版本 | 说明 |
JDK | oracle | 1.6以上 | |
Ant | http://ant.apache.org | 1.6.0以上 | windows和Linux使用相同安装包 |
Cygwin | http://www.cygwin.com | 最新版本 | 只windows平台需要 |
Eclipse | http://www.eclipse.org | ||
2. 准备windows环境
假设软件安装目录为d:\hadoop, 且最终安装完成目录结构如下:
d:\hadoop
|---apache-ant-xxx
|----cygwin
|---Java
|---jdk-xxx
2.1 JDK安装
下载JDK并且按照向导安装完成,然后设置环境变量:
JAVA_HOME= 你jdk安装目录
并且把 %JAVA_HOME%/bin 加到windows PATH中。
2.2 Ant安装
假设你下载的安装包为: apache-ant-1.8.4.zip,直接解压到d:\hadoop下,并添加环境变量ANT_HOME,设置其值;并且在环境变量PATH中添加 %ANT_HOME%/bin.
/×××××××××××××××××××××××××××××××××××××以上安装有问题可以google×××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××/
2.3 Cygwin安装
- 在安装cygwind时一定要选中安装 openssh server 和client 包。
- 安装并启动ssh服务
hadoop启动/停止脚步需要通过ssh发送命令启动相关守护进程,所有需要安装sshd服务。安装sshd服务的方法是,以管理员身份打开cygwin命令行终端,然后输入以下命令:
ssh-host-config
接着,按照命令行中的提示进行安装。(都选yes)
安装完毕后,输入以下命令启动ssh服务:
net start sshd
2.4 eclipse安装
下载官网提供的eclipse 并且自己解压到 d:\hadoop\ 下即可使用。
2.5 hadoop源码安装
从apache hadoop下载最新1.2.1 源代码,解压到 D:\hadoop\hadoop-1.2.1.
3. 准备Linux环境
在Linux环境中,也要安装JDK, ANT, eclipse,就不具体介绍如何安装了。
4. hadoop初体验
4.1 启动hadoop
步骤1 修改hadoop配置文件。在conf目录下,修改mapred-site.xml core-site.xml hdfs-site.xml三个文件,在<configuration> 与</configuration>之间添加以下内容。
- mapred-site.xml
1234<
property
>
<
name
>mapred.job.tracker</
name
>
<
value
>localhost:9001</
value
>
</
property
>
- core-site.xml
1234<
property
>
<
name
>fs.default.name</
name
>
</
property
>
- hdfs-site.xml
123456789<
property
>
<
name
>dfs.replication</
name
>
<
value
>1</
value
>
</
property
>
<
property
>
<
name
>dfs.permissions</
name
>
<
value
>false</
value
>
</
property
>
添加JAVA_HOME环境变量到 hadoop-env.xml中,添加如下配置:
export JAVA_HOME=D:/Java/jdk1.6.0_35
步骤2 设置免密码登录。前面提到hadoop启动/停止脚步时需要通过ssh发送命令启动相关守护进程,为了避免每次启动/停止hadoop输入密码进行验证,需要设置免密码登录,步骤如下:
1) 打开命令行终端(windows下为cygwin,Linux下为shell,下同),输入如下命令:
ssh-keygen -t rsa
执行以上命令后,将会在 ” ~/.ssh/"目录下生成公钥文件id_rsa.pub和私钥文件 id_rsa.
2) 将公钥文件复制到同一目录下authorized_keys文件中:
cat id_rsa.pub >> authorized_keys.
步骤3 启动hadoop。在hadoop安装目录中,按以下两部操作启动hadoop。
1) 格式化HDFS
$ ./hadoop namenode -format
2) 启动hadoop
$ ./start-all.sh
通过以下URL查看mapreduce是否启动成功:
通过以下url查看hdfs是否启动成功:
结果如图:
文山博客www.wenshan.me, 我的个人网站.