用mapreduce计算wordCount和手机流量统计程序运行过程

WordCount统计

I.         建立工程Wordcount2，新建一个Folder命令为lib，并导入mapreduce相关jar包

II.       编写Map

III.      编写Reduce

 

IV.     编写运行程序Main

 

V.       打包成jar包

A.       右键工程，点击Export

B.       选择java里的JAR file，进行打包

C.       指定jar包的路径

 

D.       点击Next下一步

                                   

E.        选择Main class

        

 

F.         点击Finish 生成jar包。右键查看属性看看jar包大小，太小表示压缩不成功

 

 

 

G.       把生成的jar包复制到/opt目录里

H.       在根目录下创建一个wordcount目录，并新建两个文件hello1.txt和hello2.txt

  

I.          进入hadoop目录下启动hadoop

 

J.         把本地目录/wordcount上传到hdfs上的/wordcount目录下

 

K.       运行jar包。开始计算hello1和hello2文件的内容

 

 

 

L.        查看/output目录，查看/output/part-r-00000里的内容

 

 

 

 

手机流量统计

VI.      建立工程phoneflow，新建一个Folder命令为lib，并导入mapreduce相关jar包

VII.    封装一个PhoneFlow实体类

VIII. 编写Map

IX.      编写Reduce

X.       编写运行程序Main

 

XI.      打包成jar包

A.       右键工程，点击Export

B.       选择java里的JAR file，进行打包

C.       选择java里的JAR file，进行打包

D.       点击Next下一步

E.        选择Main class

F.         点击Finish 生成jar包。右键查看属性看看jar包大小，太小表示压缩不成功

G.       把生成的jar包复制到/opt目录里

 

 

 

H.把phone.log文件复制在/opt目录下

 

 

I.在hdfs上创建一个新目录/phoneflow,并把/opt/phone.log文件上传到/phnoeflow/phone.log

 

 

J. 运行PhoneFlow.jar包。开始计算phone.log文件里的内容

 

K.查看/pfoutput目录，查看/pfoutput/part-r-00000里的内容

 

附件:日志的格式和内容