命令行下编译Wordcount

1. 编辑WordCount.java文件,在下载的hadoop安装包里有WordCount的例子

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

2. 把WordCount编译成一个jar文件

 mkdir wordcount_classes
 javac -cp classpath -d wordcount_classes WordCount.java
 jar -cvf wordcount.jar -C wordcount_classes/ . 
这里的classpath和之前的hadoop版本有所区别,需要按照新的设置方法,这一点网上很少提及!
新的classpath为:
$HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
 

3.创建HDFS文件夹

hadoop fs -mkdir wordCount
hadoop fs -mkdir wordCount/input
echo "Hello World Bye World" > file0
echo "Hello Hadoop Goodbye Hadoop" > file1
hadoop fs -put file* wordCount/input

4.运行

hadoop jar wordcount.jar org.myorg.WordCount wordCount/input wordCount/output
hadoop fs -cat /user/cloudera/wordcount/output/part-00000

 

 

转载于:https://www.cnblogs.com/kxdblog/p/4115230.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值