Hadoop学习开端

今天开始学习hadoop，作为开始，当然要会用。机器已经配置好了。

首先是用hadoop本身提供的example文件执行

先把单词文件放入HDFS目录文件夹中，然后执行

hadoop fs -put 123.txt /usr/dm/
hadoop jar hadoop-0.20.2-examples.jar wordcount /usr/dm/123.txt /usr/dm/yhy/

查看并拷贝回本地

hadoop fs -cat /usr/dm/yhy/part-r-00000
hadoop fs -get /usr/dm/yhy/part-r-00000 .

第二种是编译执行.java文件

从src/examples/org/apache/hadoop/examples/WordCount.java里得到源码。

编译执行。执行过程中如果出现GenericOptionsParser，加上:lib/commons-clo-1.2.jar

javac -classpath hadoop-0.20.2-core.jar:lib/commons-cli-1.2.jar  yhy/src/WordCount.java -d yhy/classes/

hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount /usr/dm/321.txt /usr/dm/yhy/