主要软件 jdk1.6(安装路径不要有空格)
Cygwin(安装在NTFS分区下)
hadoop-0.21.0
安装Cygwin注意:*** Query: Should privilege separation be used? (yes/no) no
*** Query: (Say "no" if it is already installed as a service) (yes/no) yes
*** Query: Enter the value of CYGWIN for the daemon: [] ntsec
当出现have fun 表示成功。
启动ssh服务 net start sshd
登录 ssh localhost 提示密码输入
Hadoop配置
Hadoop 用tar命令解压 到E:盘根目录 在Cygwin的etc/profile文件末尾加入:
export HADOOP_HOME=/cygdrive/e/hadoop-0.21.0
export PATH=$PATH:$HADOOP_HOME/bin
更改hadoop/conf下的hadoop-env.sh 加入 export JAVA_HOME=/cygdrive/d/Java/jdk1.6
hadoop/bin下的hadoop-config.sh 把189行改为 JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
- 編輯hadoop/conf/core-site.xml
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- </configuration>
- 編輯hadoop/conf/hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
- 編輯/opt/hadoop/conf/mapred-site.xml
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
运行hadoop
打开Cygwin控制台 输入cd $HADOOP_HOME 进入Hadoop文件夹
输入 bin/hadoop namenode –format
启动 $ bin/start-all.sh
测试 :在伪分布式模式上运行
bin/hadoop jar hadoop-*-examples-0.21.0.jar grep input output ‘dfs[a-z.]+’
重开个Cygwin控制台 进入Hadoop文件夹
输入 bin/hadoop fs -cat output/*
可以看到下面内容:
3 dfs.class
2 dfs.period
1 dfsmetrics.log
1 dfsadmin
1 dfs.servers
1 dfs.replication
1 dfs.permissions
1 dfs.file