windows安装hadoop

hadoop是什么就不多说了，看这里

hadoop推荐部署环境是在linux，但是我们想要在windows体验一下还是可以的，follow me

 

我的环境：windows xp，hadoop安装包(0.20.2) ，cygwin

打开cygwin

把hadoop的包放到这个目录下

然后输入命令

tar zxf hadoop-0.20.1.tar.gz

解压完成后进入hadoop-0.20.1的配置目录，打开core-site.xml，加入以下内容。这里是定义namenode运行地址和端口

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

打开hdfs-site.xml，加入以下内容

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

这里把复制因子设置为1是因为我们在windows上做伪分布，只能启动一个datanode

打开mapred-site.xml，加入以下内容

<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>

接下来可以定义namenode数据目录，和datanode数据目录。当然这个不是必须的，默认是在/tmp目录下面

<property>  
  <name>dfs.name.dir</name>  
  <value>c:/filesystem/name</value>  
</property>  
  
<property>  
  <name>dfs.data.dir</name>  
  <value>c:/filesystem/data</value>  
</property>

最后修改hadoop-env.sh，把下面注释的这行打开，并设置为你的jdk路径。如果你的java在Program Files下，则整个jdk路径加引号

export JAVA_HOME=你的jdk路径
例如
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6

ok，在cygwin下，先修改编码

export "LANG=en.UTF-8"

进入bin目录,首先需要格式化namenode

./hadoop namenode -format

然后启动namenode

./hadoop namenode

再打开一个datanode，同样在bin目录下

./hadoop datanode

不出意外，你会看到

namenode

datanode

我们可以试一下上传文件

./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar

list一下

./hadoop fs -lsr /tt

结果：

-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar

有兴趣的筒子可以去c:/filesystem/data/current看看哈：）

 

 过几天再记录一下hadoop mapreduce