Spark模拟实现某网站用户浏览次数最多的url统计

最新推荐文章于 2022-07-22 14:16:13 发布

ProductBug

最新推荐文章于 2022-07-22 14:16:13 发布

阅读量2.3k

点赞数

分类专栏： spark 文章标签： spark rdd

本文链接：https://blog.csdn.net/jiaotongqu6470/article/details/78462203

版权

本文介绍如何运用Spark技术，针对一个包含Java、PHP、.NET等栏目的IT教育网站日志，进行分析，以实现统计每个栏目域名下访问次数最多的前三个URL。通过模拟日志数据和提供的代码，展示了Spark在处理此类问题时的解决方案。

摘要由CSDN通过智能技术生成

现在假设有一个IT教育网站，有Java，PHP，net等多个栏目，下面是模拟实现的网站日志

第一个字段是访问日期，第二个字段是访问的URL，其中每个栏目有一个独立域名，如下：

java.aaaaaaa.cn

net.aaaaaaa.cn

php.aaaaaaa.cn

20160321101954  http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101954  http://java.aaaaaaa.cn/java/video.shtml
20160321101954  http://java.aaaaaaa.cn/java/teacher.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101954  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101954  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101954  http://net.aaaaaaa.cn/net/course.shtml
20160321101954  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101954  http://net.aaaaaaa.cn/net/video.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101954  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101954  http://java.aaaaaaa