Cygwin搭建Hadoop环境_配置hadoop cygwin单机开发环境-CSDN博客

Hadoop单节点（Single Node）配置
1. 首先将下载的hadoop放到你的主目录（cygwin安装目录下的home/用户名）中，使用tar –xzvf hadoop_1.0.4.bin.tar.gz将hadoop解压。

2. 在windows下安装好jdk（我这里下载的是:jdk-6u24-windows-i586.exe） ,安装完成后，去到cygwin下转到hadoop的conf目录，使用vi编辑hadoop-env.sh运行环境相关配置，去掉export JAVA_HOME前面的#注释，修改为本机对应的jdk目录。

注意：JAVA_HOME的设置，如果已经设置了jdk目录的软连接，直接填写软连接的目录，可避免路径中包含空格的问题，如：/usr/local/jdk1.7.0_09.

软连接建立:ln -s "C:\Program Files\Java\jdk1.6.0_24" /usr/local/jdk1.6.0_24.

3. 分配配置以下3个文件：

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>
4. 设置ssh免登陆：在Cygwin中使用如下命令设置不需要密码的dsa秘钥对。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

设置完成后使用ssh localhost测试能否登陆到本机，如果无法连接请查看ssh服务的配置是否正确。

运行Hadoop
1. 首先要格式化hadoop文件系统（只需第一使用的时候，或是hadoop出现重大的难以修复的故障是才格式化）

$ bin/hadoop namenode –format

2. 启动hadoop

$ bin/start-all.sh

3. 测试hadoop是否正常启动

访问namenode节点：http://localhost:50070/

访问jobtracker节点：http://localhost:50030/

如果以上2个节点都能正常访问说明hadoop已经正常启动了，如果不能正常访问可以查看${HADOOP_HOME}/logs目录下的日志，找到错误原因。