Hadoop经典案例Spark实现（七）——日志分析：分析非结构化文件

相关文章推荐

Hadoop经典案例Spark实现（一）——通过采集的气象数据分析每年的最高温度
Hadoop经典案例Spark实现（二）——数据去重问题
Hadoop经典案例Spark实现（三）——数据排序
Hadoop经典案例Spark实现（四）——平均成绩
Hadoop经典案例Spark实现（五）——求最大最小值问题
Hadoop经典案例Spark实现（六）——求最大的K个值并排序
Hadoop经典案例Spark实现（七）——日志分析：分析非结构化文件

Hadoop经典案例Spark实现（七）——日志分析：分析非结构化文件

1、需求：根据tomcat日志计算url访问了情况，具体的url如下，
要求：区别统计GET和POST URL访问量
结果为：访问方式、URL、访问量

测试数据集：

196.168.2.1 - - [03/Jul/2014:23:36:38 +0800] "GET /course/detail/3.htm HTTP/1.0" 200 38435 0.038
182.131.89.195 - - [03/Jul/2014:23:37:43 +0800] "GET /html/notes/20140617/888.html HTTP/1.0" 301 - 0.000
196.168.2.1 - - [03/Jul/2014:23:38:27 +0800] "POST /service/notes/addViewTimes_23.htm HTTP/1.0" 200 2 0.003
196.168.