spark sql 统计pv uv

最新推荐文章于 2022-01-18 11:11:32 发布

小码哥_6

最新推荐文章于 2022-01-18 11:11:32 发布

阅读量1.8k

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/xiaomage167/article/details/61426733

版权

该博客介绍了如何使用Spark SQL来统计用户访问（UV）和页面浏览（PV）。通过读取数据文件，过滤特定条件，转换数据为DataFrame并执行SQL查询，最终得到每个版本的PV和UV统计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

话不多说，在开始之前先介绍下pv uv
uv：user views，count（distinct guid）
pv：page views，count（url）
直接上代码
import com.alibaba.fastjson.JSON
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}
case class Log(appv:String, userid:String)
object DailyUV {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName(“DailyUV”).setMaster(“local”)
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
//过滤产品id为3的数据
val data = sc.textFile(“D:\work\data\row.dat”).filter(line=>line.contains(“\”pid\”:\”3”))
val mapData = data.map(line=>{
val json = JSON.parseObject(line)
//appv版本号
val appv = json.getString(“appv”)
//aid 用户唯一标示
val userid = json.getString(“aid”)
(appv,userid)
})
import sqlCon