机器学习部分：PV,UV的计算（Scala版本）

最新推荐文章于 2024-07-23 10:34:10 发布

道法—自然

最新推荐文章于 2024-07-23 10:34:10 发布

阅读量926

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/wyqwilliam/article/details/82288448

版权

本文介绍如何使用Scala编程语言来计算页面浏览量(PV)和独立访客数(UV)。通过理解PV和UV的概念，结合Scala的特性，我们可以有效地处理和分析网站流量数据。

摘要由CSDN通过智能技术生成

#coding:utf-8
import sys
from pyspark.conf import SparkConf
from pyspark.context import SparkContext
from com.bjsxt.spark.wordcount import showResult

print(sys.getdefaultencoding())
reload(sys)
sys.setdefaultencoding('utf-8')
print(sys.getdefaultencoding())

#方法
def pv(lines):
    pairSite = lines.map(lambda line:(line.split("\t")[4],1))
    reduceResult = pairSite.reduceByKey(lambda v1,v2:v1+v2)
    result = reduceResult.sortBy(lambda tp:tp[1],ascending=False)
    result.foreach(lambda one:showResult(one))

def uv(lines):
    distinct = lines.map(lambda line:line.split("\t")[1]+"_"+line.split("\t")[4]).distinct()
    reduceResult = distinct.map(lambda distinct:(distinct.split("_")[1],1)).reduceByKey(lambda v1,v2:v1+v2)
    result = reduceResult.sortBy(lambda tp:tp[1],ascending=False)
    result.foreach(lambda one:showResult(one))

def uvExcept