win7下安装hadoop

先前已经通过cygwin使用总结和cygwin安装sshd服务并实现无密码登录搞定了cygwin，接下来就是正式安装hadoop了（注意这里是单节点的伪分布式）。

环境及软件准备：

win7（64位）

cygwin 1.7.9-1

jdk-6u25-windows-x64.zip

hadoop-0.20.2.tar.gz

 

1.安装jdk，并置java环境变量包括：JAVA_HOME，PATH，CLASSPATH

 

2.安装Hadoop，版本为0.20.2，我是直接放到/home目录下，并解压
tar –zxvf hadoop-0.20.2.tar.gz

 

3.配置Hadoop，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml

(1) 修改hadoop-env.sh：

只需要将JAVA_HOME 修改成JDK 的安装目录即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

（注意：路径不能是windows 风格的目录d:\java\jdk1.6.0_25，而是LINUX 风格/cygdrive/d/java/jdk1.6.0_25）

(2) 修改core-site.xml：（指定namenode）

<configuration>	
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
</configuration>

(3)修改hdfs-site.xml（指定副本为1）

<configuration>	
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>

(4) 修改mapred-site.xml （指定jobtracker）

<configuration>	
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>
</configuration>

 

4.验证安装是否成功，并运行Hadoop

(1) 验证安装

$ bin/hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  mradmin              run a Map-Reduce admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME <src>* <dest> create a hadoop archive
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

(2) 格式化并启动Hadoop

bin/hadoop namenode –format

bin/start-all.sh

(3) 查看Hadoop

命令行查看：

$ jps
1608 NameNode
6572 Jps
6528 JobTracker

（注意：win7下cygwin中DateNode和TaskTracker进程是无法显示的，好像是cygwin的问题）

网页查看：

http://localhost:50030

http://localhost:50070

(4) 关闭Hadoop

bin/stop-all.sh

 

嘿嘿，轻松搞定~_~