Spark学习笔记（6）—— 网站访问次数统计

最新推荐文章于 2022-12-22 09:56:17 发布
最新推荐文章于 2022-12-22 09:56:17 发布
阅读量1.9k 收藏 11
点赞数 3
分类专栏： # Spark学习笔记 文章标签： spark 网站访问次数统计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012292754/article/details/83151365
版权

1 数据文件

20160321101954	http://java.itcast.cn/java/course/javaeeadvanced.shtml
20160321101954	http://java.itcast.cn/java/course/javaee.shtml
20160321101954	http://java.itcast.cn/java/course/android.shtml
20160321101954	http://java.itcast.cn/java/video.shtml
20160321101954	http://java.itcast.cn/java/teacher.shtml
20160321101954	http://java.itcast.cn/java/course/android.shtml
20160321101954	http://php.itcast.cn/php/teacher.shtml
20160321101954	http://net.itcast.cn/net/teacher.shtml
20160321101954	http://java.itcast.cn/java/course/hadoop.shtml
20160321101954	http://java.itcast.cn/java/course/base.shtml
20160321101954	http://net.itcast.cn/net/course.shtml
20160321101954	http://php.itcast.cn/php/teacher.shtml
20160321101954	http://net.itcast.cn/net/video.shtml
20160321101954	http://java.itcast.cn/java/course/base.shtml
20160321101954	http://net.itcast.cn/net/teacher.shtml
20160321101954	http://java.itcast.cn/java/video.shtml
20160321101954	http://java.itcast.cn/java/video.shtml
20160321101954	http://net.itcast.cn/net/video.shtml
20160321101954	http://net.itcast.cn/net/course.shtml
20160321101954	http://java.itcast.cn/java/course/javaee.shtml
20160321101954	http://java.itcast.cn/java/course/android.shtml
..........

2 源码

2.1 测试1

package webcount
import org.apache.spark.{SparkConf, SparkContext}

object UrlCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("URLCount").setMaster("local[2]")
    val sc = new SparkContext(conf)

    //rdd1 将数据切分，然后元组中（url,1）
    val rdd1 = sc.textFile("d://urlcount.log").map(line => {
      val f = line.split("\t")
      (f(1), 1)
    })
    val rdd2 = rdd1.reduceByKey(_+_)
    println(rdd2.collect().toBuffer)
    sc.stop()

  }
}


ArrayBuffer((http://php.itcast.cn/php/course.shtml,459), (http://java.itcast.cn/java/course/base.shtml,543), (http://java.itcast.cn/java/video.shtml,496), (http://java.itcast.cn/java/course/android.shtml,501), (http://net.itcast.cn/net/video.shtml,521), (http://java.itcast.cn/java/course/hadoop.shtml,506), (http://net.itcast.cn/net/course.shtml,521), (http://java.itcast.cn/java/course/cloud.shtml,1028), (http://php.itcast.cn/php/video.shtml,490), (http://java.itcast.cn/java/teacher.shtml,482), (http://php.itcast.cn/php/teacher.shtml,464), (http://net.itcast.cn/net/teacher.shtml,512), (http://java.itcast.cn/java/course/javaee.shtml,1000), (http://java.itcast.cn/java/course/javaeeadvanced.shtml,477))

2.2 测试2

package webcount
import java.net.URL
import org.apache.spark.{SparkConf, SparkContext}
object UrlCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("URLCount").setMaster("local[2]")
    val sc = new SparkContext(conf)

    //rdd1 将数据切分，然后元组中（url,1）
    val rdd1 = sc.textFile("d://urlcount.log").map(line => {
      val f = line.split("\t")
      (f(1), 1)
    })

    val rdd2 = rdd1.reduceByKey(_ + _)

    val rdd3 = rdd2.map(t => {
      val url = t._1
      val host = new URL(url).getHost
      (host, url, t._2)
    })
    val rdd4 = rdd3.groupBy(_._1)
    println(rdd4.collect().toBuffer)
    sc.stop()

  }
}


ArrayBuffer((net.itcast.cn,CompactBuffer((net.itcast.cn,http://net.itcast.cn/net/video.shtml,521), (net.itcast.cn,http://net.itcast.cn/net/course.shtml,521), 
(net.itcast.cn,http://net.itcast.cn/net/teacher.shtml,512))), (java.itcast.cn,CompactBuffer((java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543), 
(java.itcast.cn,http://java.itcast.cn/java/video.shtml,496), (java.itcast.cn,http://java.itcast.cn/java/course/android.shtml,501), 
(java.itcast.cn,http://java.itcast.cn/java/course/hadoop.shtml,506), (java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), 
(java.itcast.cn,http://java.itcast.cn/java/teacher.shtml,482), (java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaeeadvanced.shtml,477))), (php.itcast.cn,CompactBuffer((php.itcast.cn,http://php.itcast.cn/php/course.shtml,459), 
(php.itcast.cn,http://php.itcast.cn/php/video.shtml,490), (php.itcast.cn,http://php.itcast.cn/php/teacher.shtml,464))))

2.3 测试3

package webcount
import java.net.URL
import org.apache.spark.{SparkConf, SparkContext}

object UrlCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("URLCount").setMaster("local[2]")
    val sc = new SparkContext(conf)

    //rdd1 将数据切分，然后元组中（url,1）
    val rdd1 = sc.textFile("d://urlcount.log").map(line => {
      val f = line.split("\t")
      (f(1), 1)
    })

    val rdd2 = rdd1.reduceByKey(_ + _)

    val rdd3 = rdd2.map(t => {
      val url = t._1
      val host = new URL(url).getHost
      (host, url, t._2)
    })

    val rdd4 = rdd3.groupBy(_._1).mapValues(it =>{
      it.toList.sortBy(_._3).reverse.take(3)

    })

    println(rdd4.collect().toBuffer)

    sc.stop()

  }
}


ArrayBuffer((net.itcast.cn,List((net.itcast.cn,http://net.itcast.cn/net/course.shtml,521), (net.itcast.cn,http://net.itcast.cn/net/video.shtml,521), 
(net.itcast.cn,http://net.itcast.cn/net/teacher.shtml,512))), (java.itcast.cn,List((java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), (java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543))), 
(php.itcast.cn,List((php.itcast.cn,http://php.itcast.cn/php/video.shtml,490), (php.itcast.cn,http://php.itcast.cn/php/teacher.shtml,464), 
(php.itcast.cn,http://php.itcast.cn/php/course.shtml,459))))

3 改进版

上个版本采用list 存数据，如果数据太多就会奔溃，改用RDD,当数据量大时，它会存到磁盘上。

3.1 测试1

package webcount

import java.net.URL

import org.apache.spark.{SparkConf, SparkContext}

object AdvUrlCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("AdvURLCount").setMaster("local[2]")
    val sc = new SparkContext(conf)

    //rdd1 将数据切分，然后元组中（url,1）
    val rdd1 = sc.textFile("d://urlcount.log").map(line => {
      val f = line.split("\t")
      (f(1), 1)
    })

    val rdd2 = rdd1.reduceByKey(_ + _)

    val rdd3 = rdd2.map(t => {
      val url = t._1
      val host = new URL(url).getHost
      (host, url, t._2)
    })

    println(rdd3.collect().toBuffer)

   // val rddjava = rdd3.filter(_._1 == "java.itcast.cn")
    sc.stop()

  }
}


ArrayBuffer((php.itcast.cn,http://php.itcast.cn/php/course.shtml,459), (java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543), 
(java.itcast.cn,http://java.itcast.cn/java/video.shtml,496), (java.itcast.cn,http://java.itcast.cn/java/course/android.shtml,501), 
(net.itcast.cn,http://net.itcast.cn/net/video.shtml,521), (java.itcast.cn,http://java.itcast.cn/java/course/hadoop.shtml,506), 
(net.itcast.cn,http://net.itcast.cn/net/course.shtml,521), (java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), 
(php.itcast.cn,http://php.itcast.cn/php/video.shtml,490), (java.itcast.cn,http://java.itcast.cn/java/teacher.shtml,482), 
(php.itcast.cn,http://php.itcast.cn/php/teacher.shtml,464), (net.itcast.cn,http://net.itcast.cn/net/teacher.shtml,512), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), (java.itcast.cn,http://java.itcast.cn/java/course/javaeeadvanced.shtml,477))

3.2 测试2

....
val rddjava = rdd3.filter(_._1 == "java.itcast.cn")
    println(rddjava.collect().toBuffer)

ArrayBuffer((java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543), (java.itcast.cn,http://java.itcast.cn/java/video.shtml,496), 
(java.itcast.cn,http://java.itcast.cn/java/course/android.shtml,501), (java.itcast.cn,http://java.itcast.cn/java/course/hadoop.shtml,506), 
(java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), (java.itcast.cn,http://java.itcast.cn/java/teacher.shtml,482), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), (java.itcast.cn,http://java.itcast.cn/java/course/javaeeadvanced.shtml,477))

3.3 测试3

val rddjava = rdd3.filter(_._1 == "java.itcast.cn")
val sortedjava = rddjava.sortBy(_._3, false).take(3)
println(sortedjava.toBuffer)

ArrayBuffer((java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), 
(java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543))

3.4 测试4

package webcount

import java.net.URL

import org.apache.spark.{SparkConf, SparkContext}

object AdvUrlCount {
  def main(args: Array[String]): Unit = {
    //从数据库中加载规则
    val arr = Array("java.itcast.cn", "php.itcast.cn", "net.itcast.cn")

    val conf = new SparkConf().setAppName("AdvURLCount").setMaster("local[2]")
    val sc = new SparkContext(conf)

    //rdd1 将数据切分，然后元组中（url,1）
    val rdd1 = sc.textFile("d://urlcount.log").map(line => {
      val f = line.split("\t")
      (f(1), 1)
    })
    val rdd2 = rdd1.reduceByKey(_ + _)

    val rdd3 = rdd2.map(t => {
      val url = t._1
      val host = new URL(url).getHost
      (host, url, t._2)
    })
    //println(rdd3.collect().toBuffer)
    for (institute <- arr) {
      val rdd = rdd3.filter(_._1 == institute)
      val result = rdd.sortBy(_._3, false).take(3)
      /*
      * 通过JDBC 向数据库存储数据
      * id:学院，URL,次数，访问日期
      * */
      println(result.toBuffer)
    }
    sc.stop()
  }
}


ArrayBuffer((java.itcast.cn,http://java.itcast.cn/java/course/cloud.shtml,1028), 
(java.itcast.cn,http://java.itcast.cn/java/course/javaee.shtml,1000), 
(java.itcast.cn,http://java.itcast.cn/java/course/base.shtml,543))


ArrayBuffer((php.itcast.cn,http://php.itcast.cn/php/video.shtml,490), 
(php.itcast.cn,http://php.itcast.cn/php/teacher.shtml,464), 
(php.itcast.cn,http://php.itcast.cn/php/course.shtml,459))


ArrayBuffer((net.itcast.cn,http://net.itcast.cn/net/video.shtml,521), 
(net.itcast.cn,http://net.itcast.cn/net/course.shtml,521), 
(net.itcast.cn,http://net.itcast.cn/net/teacher.shtml,512))
一角残叶
关注
专栏目录
基于Spark Streaming统计网站的UV
m0_37692438的博客
08-17 1299
Bitmap方案 所谓的Bitmap就是用一个bit位来标记某个元素对应的Value，比如ID为2的用户，就用第2个bit位来表示,然后用该位的值来表示该用户是否访问过。如果要计算UV，那就只要数一下有多少个1就可以了。该方案有一个限制就是用户的ID只能为数值型的，不能基于非数值型进行统计，如UUID。Redis提供了相关命令可以实现bitmap，如下： // 插入 setbit key o...
Spark学习笔记——龟速更新。。
5akura's Blog
01-13 2275
文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2
基于Spark统计购物网站标签
u013337425的博客
03-17 492
文章目录1、项目描述2、数据描述3、实现 1、项目描述 目前，越来越多的商家驻扎于购物网站中，每天都有大量的用户在不同的商家购物，然后进行评价，如图1，图2，图3所示。评论越多，说明该商品越火热，商家知名度也越高。因此，统计海量用户对不用商品的评论，然后进行分析。商家根据分析结果做出调整，这可以影响大众的消费趋势和消费心理。 2、数据描述 评价标签生成有很多方法：...
基于spark sql 统计爬取到的个网站的一天访问量
lv_yishi的博客
11-14 878
数据： import org.apache.spark.sql.{DataFrame, SparkSession} object words1 { def main(args: Array[String]): Unit = { val session = SparkSession.builder().appName("words").master("local[*]").ge...
166、Spark Streaming实战开发进阶之新闻网站关键指标实时统计
ZJ__ZFH的博客
01-27 1454
生产者代码 public class AccessProducer extends Thread { private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); private static Random random = new Random(); private static ...
spark--网站运营指标统计案例-★★★★★
qq_46893497的博客
03-03 162
网站运营指标统计案例-★★★★★数据需求代码实现 数据 我们后续需要关注的数据 1.总共有多少条? 2.不重复的IP有多少? 3.来源URL字段计数并排序 需求 需求1.PV:PageView ,页面访问量, 访问一次就是一个PV,上面的访问日志有多少条就有多少PV 分析:读取文件,把该RDD直接count计数即可 需求2.UV:UniqueVisitor:独立用户访问量, 1个用户的重复访问只算1个UV,这里可以用IP区分 分析:这里可以用ip区分,也就是对ip进行去重即可 需求
Spark技术内幕读书笔记：Spark核心——RDD实现详解
Big_data_implicit_
01-28 439
————Spark技术内幕读书笔记———— 深入解析内核架构设计与实现原理 Spark究竟解决了什么问题？ 1.背景： 在spark出现之前，hadoop的迅速发展，hadoop分布式集群，把编程简化为自动提供 位置感知性调度，容错，以及负载均衡的一种模式，用户就可以在普通的PC机上运行超大集群运算，hadoop有一个非常大的问题：hadoop是基于流处理的，hadoop会从(物理存储)hdfs中加载数据，然后处理之后再返回给物理存储hdfs中，这样不断的读取与写入，占用了大量的IO，后来hadoop出现
spark学习笔记整理
qq_40262690的博客
05-29 160
搭建集群的步骤: 1、解压安装包，改名 2、进入conf目录 修改slave.templateslave Node02 Node03 Node04 修改spark-env.sh.template—&gt;env.sh SPARK_MASTER_IP=node01 SPARK_MASTER_PORT=7077 SPARK_WORKER_CORES=3 SPARK_WORKER_MEMORY=2G ...
MIT 6.824学习笔记
Kaychenl的博客
06-10 766
MIT6.824
Spark学习笔记#1-快速入门
Lauhoman的博客
07-13 2101
Spark学习笔记#1-快速入门之前我已经安装配置好了PySpark，这里就按照Spark官网上的Quick Start来快速入门。这篇文章就当是Spark官网Doc的一个翻译和测试记录。目录 使用Spark Shell进行交互式分析 基本 更多基于RDD的操作 缓存 独立的程序 快速入门完之后的去向 这个教程提供了一个使用Spark的快速教程。我们将会首先通过Spark的交互式Shell介绍AP
Spark模拟实现统计出每个域名下面访问次数最多的前三个URL
helloxiaozhe的博客
01-02 1039
Spark模拟实现统计出每个域名下面访问次数最多的前三个URL 一、需求： 现在假设有一个IT教育网站，有Java，PHP，net等多个栏目，下面是模拟实现的网站日志 第一个字段是访问日期，第二个字段是访问的URL，其中每个栏目有一个独立域名，如下： java.aaaaaaa.cn net.aaaaaaa.cn php.aaaaaaa.cn 统计出每个域名下面访问次数最多的前三个URL ...
【大数据】PageRank网页排名图算法（MapReduce Java+Spark Scala）
CS之路
05-05 2540
实验环境： ubuntu 18.04 hadoop 2.7.1 JDK 1.8 spark2.3.3 scala 2.11.8 目录 一、实验原理 二、用MapReduce实现PageRank 三、用Spark实现PageRank 一、实验原理 1. 什么是PageRank PageRank是一种在搜索引擎中根据网页之间相互的链接关系计算网页排名的技术。 P...
Spark RDD统计每个域名下，不同的URL对应的访问次数的top3
u013429010的博客
12-19 1417
文章原地址： https://www.codeobj.com/?p=574 1、数据来源 1）数据样例 http://www.itpub.net/?username=04209 [2018-12-19 10:14:28] 63 https://www.cnblogs.com/AK47Sonic/?username=03053 [2018-12-19 10:33:44] 33 http://mail...
Spark学习：求网址的top3访问地区及网站pv、uv
NeboFeng的博客
11-26 1088
思路： 生成用户不同时间访问不同网站的数据，计算出pv 、uv pv 页面访一次加1 ，uv 不同用户访问 加1 //ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海", "重庆", "河北", "辽宁","山西", "吉林", "江苏", "浙江", "黑龙江", "安徽", "福建", "江西", "...
Spark scala编程练习题——通过日志统计网站访问量
qq_38151907的博客
11-30 1653
Spark scala编程练习题——通过日志统计网站访问量
获取系统URL访问的前三名（通过Scala方式实现/通过Spark方式实现），Spark将URL访问日志进行分类并通过自定义Partitioner的方式将文件写入到不同分区上
涂作权的博客
07-08 2160
1、创建Maven项目创建的过程参考：http://blog.csdn.net/tototuzuoquan/article/details/745713742、准备日志文件url.log的内容类似： 20160321101954 http://java.toto.cn/java/course/javaeeadvanced.shtml 20160321101954 http://java.tot
Apache Spark 练习五：使用Spark进行YouTube视频网站指标分析
热门推荐
荔枝的FM
12-22 3万+
本章所分析的数据来自于Simon Fraser大学公开的YouTube视频网站的视频数据。数据包含两张表。第一张为视频表，记录了研究人员爬取的视频的元数据信息，具体包括以下字段：
Spark 分析网站排名热度
weixin_34216196的博客
07-25 184
需求:/ 解决是一个各个子模块内的热度排名--》 排名得用sortBy ---》 （可能就是简单的排序，或者是二次排序） ---》// 前面有一个wordCount---》 算出次数出来 --》 考虑什么作为key//算的一个网站下面，每个子模块下面的网页热度前2名 ：// 算的一个网站下面，每个子模块下面的网页热度前2名 --》 每个子模块下面的网页的次数的前2名// 在...
Spark模拟实现某网站用户浏览次数最多的url统计
jiaotongqu6470的博客
11-06 2302
现在假设有一个IT教育网站，有Java，PHP，net等多个栏目，下面是模拟实现的网站日志第一个字段是访问日期，第二个字段是访问的URL，其中每个栏目有一个独立域名，如下：java.aaaaaaa.cnnet.aaaaaaa.cnphp.aaaaaaa.cn20160321101954 http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
spark学习笔记(1)——spark概述
最新发布
06-28
Spark是一个开源的大数据处理框架，它提供了高效的数据处理能力和易用的API，支持多种数据处理模式，包括批处理、流处理和机器学习等。Spark的核心是分布式计算引擎，它可以在集群中运行，利用多台计算机的计算能力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值