相关文章推荐
Hadoop经典案例Spark实现(一)——通过采集的气象数据分析每年的最高温度
Hadoop经典案例Spark实现(二)——数据去重问题
Hadoop经典案例Spark实现(三)——数据排序
Hadoop经典案例Spark实现(四)——平均成绩
Hadoop经典案例Spark实现(五)——求最大最小值问题
Hadoop经典案例Spark实现(六)——求最大的K个值并排序
Hadoop经典案例Spark实现(七)——日志分析:分析非结构化文件
Hadoop经典案例Spark实现(七)——日志分析:分析非结构化文件
1、需求:根据tomcat日志计算url访问了情况,具体的url如下,
要求:区别统计GET和POST URL访问量
结果为:访问方式、URL、访问量
测试数据集:
196.168.2.1 - - [03/Jul/2014:23:36:38 +0800] "GET /course/detail/3.htm HTTP/1.0" 200 38435 0.038
182.131.89.195 - - [03/Jul/2014:23:37:43 +0800] "GET /html/notes/20140617/888.html HTTP/1.0" 301 - 0.000
196.168.2.1 - - [03/Jul/2014:23:38:27 +0800] "POST /service/notes/addViewTimes_23.htm HTTP/1.0" 200 2 0.003
196.168.