贝叶斯平滑

已于 2022-05-06 21:49:21 修改
阅读量292 收藏
点赞数
分类专栏： 推荐系统 文章标签： spark
于 2020-09-13 13:46:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43690478/article/details/108428204
版权

常用指标

uCTR --点击用户数 / 曝光用户数
ctr – 点击次数 / 曝光次数
uCVR --购买用户数 / 点击用户数
cvr – 购买次数/点击次数
ctcvr – 购买用户数 / 曝光用户数
arpu – 成功支付的金额 / 曝光用户数
ecpm- 流水*1000/曝光次数

package sparkSQL

import org.apache.spark.sql.{DataFrame, Row, SparkSession}

object BayesParam {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .appName(this.getClass.getName)
      .master("local[2]")
      .getOrCreate()
    val sc = spark.sparkContext

    val lineRDD = sc.textFile("F:\\ideaProjects\\spark-version2\\src\\main\\resources\\bayesparam\\themeInfo")

    import spark.implicits._

    val themeInfoDF = lineRDD.map {
      line => {
        val arr = line.split(" ")
        val groupId = arr(0)
        val themeId = arr(1)
        val theme_ver = arr(2)
        val price_level = arr(3)
        val exposure_users = arr(4)
        val click_users = arr(5)
        val payment_users = arr(6)
        val payment_amt = arr(7)
        (groupId, themeId, theme_ver, price_level, exposure_users, click_users, payment_users, payment_amt)
      }
    }.toDF("groupId", "themeId", "theme_ver", "price_level", "exposure_users", "click_users", "payment_users", "payment_amt")

    import org.apache.spark.sql.functions._

    val key = "key"
    val values = Array("ctr", "cvr", "ctcvr", "arpu")

    val themeInfoCtrDF = themeInfoDF.withColumn(key, concat_ws("-", col("groupId"), col("theme_ver")))
      .withColumn("ctr", col("click_users") / col("exposure_users"))
      .withColumn("cvr", col("payment_users") / col("click_users"))
      .withColumn("ctcvr", col("payment_users") / col("exposure_users"))
      .withColumn("arpu", col("payment_amt") / col("exposure_users"))
      .selectExpr(key, "groupId", "themeId", "theme_ver", "price_level", "exposure_users", "click_users", "payment_users", "payment_amt","ctr", "cvr", "ctcvr", "arpu")

    //获取分组key的ctr、cvr、ctcvr、arpu指标的alpha、beta参数
    var tmp_themeInfoCtrDF = themeInfoCtrDF.select(key).distinct()

    for (value <- values) {
      //计算平均数mean和方差variance
      val meanAndVarianceMap: Map[String, Array[Double]] = evaluateMeanAndVariance(key, value, themeInfoCtrDF)
      val alphaAndBetaMap: Map[String, Array[Double]] = evaluateAlphaAndBeta(meanAndVarianceMap)

      //通过实名函数定义UDF
      val getMeanUDF = udf((key: String) => meanAndVarianceMap.getOrElse(key, Array(0.0, 0.0))(0))
      val getVarianceUDF = udf((key: String) => meanAndVarianceMap.getOrElse(key, Array(0.0, 0.0))(1))
      val getAlphaUDF = udf((key: String) => alphaAndBetaMap.getOrElse(key, Array(0.0, 0.0))(0))
      val getBetaUDF = udf((key: String) => alphaAndBetaMap.getOrElse(key, Array(0.0, 0.0))(1))

      if (value.equals("ctr")) {
        tmp_themeInfoCtrDF = tmp_themeInfoCtrDF
          .withColumn(value+"_mean", getMeanUDF(col(key)))
          .withColumn(value+"_var",getVarianceUDF(col(key)))
          .withColumn(value+"_a", getAlphaUDF(col(key)))
          .withColumn(value+"_b",getBetaUDF(col(key)))
      } else {
        tmp_themeInfoCtrDF = tmp_themeInfoCtrDF
          .withColumn(value+"_a", getAlphaUDF(col(key)))
          .withColumn(value+"_b",getBetaUDF(col(key)))
      }
    }

    tmp_themeInfoCtrDF = tmp_themeInfoCtrDF.select(key,"ctr_mean","ctr_var","ctr_a","ctr_b","cvr_a","cvr_b","ctcvr_a","ctcvr_b","arpu_a","arpu_b")

    //关联themeInfoCtrDF，计算贝叶斯平滑修正后的ctr、cvr、ctcvr、arpu
    val resultDF = themeInfoCtrDF.join(tmp_themeInfoCtrDF,Seq(key))
      .select(key,"groupId", "themeId", "theme_ver", "price_level", "exposure_users", "click_users", "payment_users", "payment_amt",
        "ctr", "cvr", "ctcvr", "arpu",
        "ctr_mean","ctr_var",
        "ctr_a","ctr_b","cvr_a","cvr_b","ctcvr_a","ctcvr_b","arpu_a","arpu_b")
      .withColumn("b_ctr",(col("click_users")+col("ctr_a")) / (col("exposure_users")+col("ctr_a")+col("ctr_b")))
      .withColumn("b_cvr",(col("payment_users")+col("cvr_a")) / (col("click_users")+col("cvr_a")+col("cvr_b")))
      .withColumn("b_ctcvr",(col("payment_users")+col("ctcvr_a")) / (col("exposure_users")+col("ctcvr_a")+col("ctcvr_b")))
      .withColumn("b_arpu",(col("payment_amt")+col("ctcvr_a")) / (col("exposure_users")+col("ctcvr_a")+col("ctcvr_b")))
      .select(key,"groupId", "themeId", "theme_ver", "price_level", "exposure_users", "click_users", "payment_users", "payment_amt",
        "ctr", "cvr", "ctcvr", "arpu",
        "ctr_mean","ctr_var",
        "ctr_a","ctr_b",
        "b_ctr","b_cvr","b_ctcvr","b_arpu")

    resultDF.show()
  }


  def evaluateAlphaAndBeta(meanAndVarianceMap: Map[String, Array[Double]]): Map[String, Array[Double]] = {
    meanAndVarianceMap.map {
      case (key: String, meanAndVariance: Array[Double]) => {
        val mean = meanAndVariance(0)
        val variance = meanAndVariance(1)
        var tmp = 0.0
        if (mean != 0) {
          tmp = mean * (1 - mean) / variance - 1
        }
        val alpha = mean * tmp
        val beta = (1 - mean) * tmp
        (key, Array(alpha, beta))
      }
    }
  }

  def evaluateMeanAndVariance(key: String, value: String, themeInfoCtrDF: DataFrame): Map[String, Array[Double]] = {
    import org.apache.spark.sql.functions._
    val tmpDF = themeInfoCtrDF.withColumn(key, concat_ws("-", col("groupId"), col("theme_ver")))
      .selectExpr(key, "groupId", "themeId", "theme_ver", "price_level", "exposure_users", "click_users", "payment_users", value)
      .groupBy(key)
      .agg(avg(value) as "mean", variance(value) as "variance")
      .selectExpr(key, "mean", "variance")
    val rdd = tmpDF.rdd


    tmpDF.rdd.map {
      case Row(key: String, mean: Double, variance: Double) => {
        (key, Array(mean, variance))
      }
    }.collect().toMap
  }
}

测试数据：
P3105 10008611 10 0 100 10 1 2
P3105 10008612 10 1 3000 150 10 30
P3105 10008613 10 0 4000 400 20 40
P3105 10008614 10 1 5000 1000 100 300
P3105 10008615 10 0 10000 1000 200 600
P3302 10008811 10 0 100 10 1 3
P3302 10008812 10 1 3000 150 10 20
P3302 10008813 10 0 4000 400 20 40
P3302 10008814 10 1 5000 1000 100 300
P3302 10008815 10 0 10000 1000 200 400
P6105 10009911 10 0 100 10 1 4
P6105 10009912 10 1 3000 150 10 30
P6105 10009913 10 0 4000 400 20 50
P6105 10009914 10 1 5000 1000 100 300
P6105 10009915 10 0 10000 1000 200 400
P6106 10006611 10 0 1000 500 50 600
P6106 10006612 10 0 10000 1000 200 800
P6107 10006611 10 0 10000 1000 200 800
P6107 10006612 10 0 10000 1000 200 800

测试结果：
+--------+-------+--------+---------+-----------+--------------+-----------+-------------+-----------+----+-------------------+--------------------+--------------------+-------------------+-------------------+------------------+------------------+-------------------+--------------------+--------------------+--------------------+
|     key|groupId| themeId|theme_ver|price_level|exposure_users|click_users|payment_users|payment_amt| ctr|                cvr|               ctcvr|                arpu|           ctr_mean|            ctr_var|             ctr_a|             ctr_b|              b_ctr|               b_cvr|             b_ctcvr|              b_arpu|
+--------+-------+--------+---------+-----------+--------------+-----------+-------------+-----------+----+-------------------+--------------------+--------------------+-------------------+-------------------+------------------+------------------+-------------------+--------------------+--------------------+--------------------+
|P3105-10|  P3105|10008611|       10|          0|           100|         10|            1|          2| 0.1|                0.1|                0.01|                0.02|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|  0.102403140035452|  0.1024160952724648|0.011070317361543248|0.014648413192283759|
|P3105-10|  P3105|10008612|       10|          1|          3000|        150|           10|         30|0.05|0.06666666666666667|0.003333333333333...|                0.01|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.05062606515739591| 0.07214376022608955|0.003803741384968...|0.010094081610327097|
|P3105-10|  P3105|10008613|       10|          0|          4000|        400|           20|         40| 0.1|               0.05|               0.005|                0.01|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10007846282317341|0.053295138194626016|0.005286284953395472|0.010071571238348868|
|P3105-10|  P3105|10008614|       10|          1|          5000|       1000|          100|        300| 0.2|                0.1|                0.02|                0.06|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.19943417975607652| 0.10008554981248043| 0.01971123497414546| 0.05832516285004365|
|P3105-10|  P3105|10008615|       10|          0|         10000|       1000|          200|        600| 0.1|                0.2|                0.02|                0.06|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10003153358210194|  0.1975190554380674|0.019853071823959543| 0.05914781657896534|
|P6105-10|  P6105|10009911|       10|          0|           100|         10|            1|          4| 0.1|                0.1|                0.01|                0.04|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|  0.102403140035452|  0.1024160952724648|0.011070317361543248| 0.02180460485376478|
|P6105-10|  P6105|10009912|       10|          1|          3000|        150|           10|         30|0.05|0.06666666666666667|0.003333333333333...|                0.01|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.05062606515739591| 0.07214376022608955|0.003803741384968...|0.010094081610327097|
|P6105-10|  P6105|10009913|       10|          0|          4000|        400|           20|         50| 0.1|               0.05|               0.005|              0.0125|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10007846282317341|0.053295138194626016|0.005286284953395472|0.012464214380825567|
|P6105-10|  P6105|10009914|       10|          1|          5000|       1000|          100|        300| 0.2|                0.1|                0.02|                0.06|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.19943417975607652| 0.10008554981248043| 0.01971123497414546| 0.05832516285004365|
|P6105-10|  P6105|10009915|       10|          0|         10000|       1000|          200|        400| 0.1|                0.2|                0.02|                0.04|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10003153358210194|  0.1975190554380674|0.019853071823959543| 0.03950044420146245|
|P6106-10|  P6106|10006611|       10|          0|          1000|        500|           50|        600| 0.5|                0.1|                0.05|                 0.6|                0.3|0.08000000000000002|0.4874999999999998|1.1374999999999995| 0.4996755272681892|  0.1023355576739752| 0.04896575803031086|  0.5610435524750427|
|P6106-10|  P6106|10006612|       10|          0|         10000|       1000|          200|        800| 0.1|                0.2|                0.02|                0.08|                0.3|0.08000000000000002|0.4874999999999998|1.1374999999999995|0.10003249471960805| 0.19880429477794048|0.020110266746813873|  0.0796691997595584|
|P6107-10|  P6107|10006611|       10|          0|         10000|       1000|          200|        800| 0.1|                0.2|                0.02|                0.08|                0.1|                0.0|          Infinity|          Infinity|                NaN|                 NaN|                 NaN|                 NaN|
|P6107-10|  P6107|10006612|       10|          0|         10000|       1000|          200|        800| 0.1|                0.2|                0.02|                0.08|                0.1|                0.0|          Infinity|          Infinity|                NaN|                 NaN|                 NaN|                 NaN|
|P3302-10|  P3302|10008811|       10|          0|           100|         10|            1|          3| 0.1|                0.1|                0.01|                0.03|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|  0.102403140035452|  0.1024160952724648|0.011070317361543248| 0.01822650902302427|
|P3302-10|  P3302|10008812|       10|          1|          3000|        150|           10|         20|0.05|0.06666666666666667|0.003333333333333...|0.006666666666666667|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.05062606515739591| 0.07214376022608955|0.003803741384968...| 0.00694891149764796|
|P3302-10|  P3302|10008813|       10|          0|          4000|        400|           20|         40| 0.1|               0.05|               0.005|                0.01|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10007846282317341|0.053295138194626016|0.005286284953395472|0.010071571238348868|
|P3302-10|  P3302|10008814|       10|          1|          5000|       1000|          100|        300| 0.2|                0.1|                0.02|                0.06|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.19943417975607652| 0.10008554981248043| 0.01971123497414546| 0.05832516285004365|
|P3302-10|  P3302|10008815|       10|          0|         10000|       1000|          200|        400| 0.1|                0.2|                0.02|                0.04|0.11000000000000001|              0.003| 3.479666666666668|28.153666666666673|0.10003153358210194|  0.1975190554380674|0.019853071823959543| 0.03950044420146245|
+--------+-------+--------+---------+-----------+--------------+-----------+-------------+-----------+----+-------------------+--------------------+--------------------+-------------------+-------------------+------------------+------------------+-------------------+--------------------+--------------------+--------------------+
qwerdf@QAQ
关注
专栏目录
每天五分钟机器学习算法：朴素贝叶斯算法中如何应用平滑技术？
huanfeng_AI的博客
03-25 613
P(（“我”,“司”,“可”,“办理”,“正规发票”)|S)=P(“我”|SP(“司”|SP(“可”|SP(“办理”|SP(“正规发票”|S假如在训练集中我们发现正规发票从来没有出现过，那么P(“正规发票”|S）=0，那么整个概率相乘就变成了0，那么为了解决这个问题，我们使用平滑技术。
CTR预估中的贝叶斯平滑方法（一）原理及实验介绍
weixin_30879169的博客
02-11 842
1. 背景介绍 广告形式： 互联网广告可以分为以下三种： 1）展示广告（display ad） 2）搜索广告（sponsored search ad） 3）上下文广告（contextual ad） 竞价模式： 对于在线广告，主要有以下几种竞价模式： 1）pay-per-impression（按展示付费）：广告商按照广告被展示的次数付费，这是一种最普遍的竞价模型。缺点在于没有考...
【Sklearn-驯化】一文搞懂sklearn中特征平滑之-贝叶斯平滑策略使用技巧
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
07-17 980
在机器学习中，特征平滑是一种用于改善高维数据表示的技术，特别是在处理文本数据或生物信息学数据时。贝叶斯特征平滑（Bayesian Feature Smoothing）是一种基于概率模型的方法，它通过为特征分配先验分布来平滑特征的分布，从而减少噪声和过拟合贝叶斯特征平滑是一种有效的技术，用于处理高维数据中的噪声和过拟合问题。通过在scikit-learn中使用多项式朴素贝叶斯模型，我们可以轻松地实现贝叶斯特征平滑。希望这篇博客能够帮助你更好地理解贝叶斯特征平滑，并将其应用于实际的机器学习项目中。
bayesian_smoothing贝叶斯平滑
weixin_30810239的博客
07-30 293
# -*- coding: utf-8 -*- import numpy as np def bayesian_smoothing(c, i): r = 1.0*c/i # print r m = np.mean(r) v = np.var(r) a = (m*(1-m)/v-1)*m b = (m*(1-m)/...
广告点击率的贝叶斯平滑
热门推荐
mytestmy的专栏
02-11 4万+
广告点击率的贝叶斯平滑 一．点击率的贝叶斯平滑 预估互联网广告的点击率一个重要的技术手段是logistic regression模型，这个模型非常依赖特征的设计。每个广告的反馈ctr作为特征能极大地提升预估的准确性，所以每个广告的反馈ctr非常重要。 目前用得比较多的获取反馈ctr的方式是直接计算每个广告的历史ctr，这样的问题就是当该广告投放量比较少的时候（如新广告），历史ct
贝叶斯滤波和贝叶斯平滑(Kalman滤波，RTS平滑)
shengsong
04-23 3355
贝叶斯滤波和贝叶斯平滑(Kalman滤波，RTS平滑)，卡尔曼滤波，平滑
点击率预测的贝叶斯平滑
小平子的专栏
10-24 3万+
概述 电商领域中经常需要计算或预测一些转化率指标，如最典型的CTR（点击率，Click-Through Rate）。这些转化率可以是模型的预测值，也可以作为模型的特征（feature）使用。以商品点击率预测为例，CTR的值等于点击量（Click）除以曝光量（Impression或Exposure）。以rr表示点击率， r=CI(1)r=\frac{C}{I} \tag{1}. 但在实际应
对贝叶斯平滑的理解
Elaine_DWL的博客
07-27 1738
对贝叶斯平滑的理解 假设现在要对每个广告求历史ctr(求贝叶斯平滑后的值)。 贝叶斯平滑就是对广告的CTR进行贝叶斯估计（最小化损失函数在后验分布上的期望）。 N个广告，其点击信息和曝光信息分别是(C1,C2,...,Ci,...,CN),(I1,I2,...,Ii,...,IN)(C_1, C_2, ..., C_i, ..., C_N), (I_1, I_2, ..., I_i, ...,...
ctr 平滑_CTR预估中的贝叶斯平滑方法（二）参数估计和代码实现
weixin_29870701的博客
12-24 233
1. 前言这篇博客主要是介绍如何对贝叶斯平滑的参数进行估计，以及具体的代码实现。首先，我们回顾一下前文中介绍的似然函数，也就是我们需要进行最大化的目标函数：下面我们就基于这个目标函数介绍怎样估计参数。2. 参数估计的几种方法1. 矩估计矩估计在这里有点乱入的意思：)，因为它其实不是用来最大化似然函数的，而是直接进行参数的近似估计。矩估计的方法要追溯到19世纪的Karl Pearson，是基于一种简...
贝叶斯滤波与平滑
03-06
滤波与平滑是估计理论中最为核心的两类算法，可用于估计未知的状态或参数，贝叶斯滤波与平滑，是指在贝叶斯意义下的滤波与平滑，本书包括了经典的线性与平滑滤波，非线性与平滑滤波，以及费高斯与平滑滤波。
Spark ml pipline交叉验证之朴素贝叶斯.docx
09-03
Spark ml pipline交叉验证之朴素贝叶斯 模型训练 输入参数 训练代码 模型评估 输入参数 评估代码
贝叶斯平滑及其精确解
calabash_man的博客
05-14 2304
贝叶斯平滑及其精确解贝叶斯平滑方程贝叶斯最优平滑方程Rauch-Tung-Striebel 平滑器RTS平滑器 平滑与滤波的区别在于：滤波只是用当前以及之前的量测量去估计当前状态（也可能是未来）的估计值。而贝叶斯平滑在进行估计时还用到了当前时刻之后的量测量。使得估计更加的准确。 贝叶斯平滑方程 贝叶斯平滑的目的在于获得截止到T\bm{T}T时刻的量测量后，计算k\bm{k}k时刻状态xk\bm{x_k}xk​的边缘后验分布，如下：(其中 k<T\bm{k<T}k<T)。 p(xk∣y1:T
广告点击率预估中贝叶斯平滑
weixin_30768175的博客
11-01 394
广告点击率预估是一个非常经典的转化率预估问题，在互联网时代，广告作为互联网公司盈利的一种重要手段或方法，而广告又分为很多种（这部分的知识可以课后脑补一下），今天主要讲下在计算广告当中，竞价广告涉及到的ctr预估遇到的平滑问题。这里先解释一下竞价广告：简单讲来就是广告主需要在媒体投放平台投放广告，而媒体需要通过多个广告主竞价，价高者得的方式来获取利润。而这里主要介绍两种竞价方式：1、CPM...
通俗易懂理解朴素贝叶斯分类的拉普拉斯平滑
zenRRan的博客
08-03 923
已获 深度学习这件小事 授权作者 刘建平PinardzenRRan略有改动这个男生的四个特征是长相不帅，性格不好，身高矮，不上进，我们最终得出的结论是女生不嫁！很多人说这是一道送分题，哈...
朴素贝叶斯-垃圾邮件判断-加一平滑处理-详细解释
weixin_43423614的博客
06-26 2830
朴素贝叶斯-垃圾邮件分类器代码实现参考上一篇文章 本篇文章主要详细的讲解一下采用朴素贝叶斯对垃圾邮件进行判断的过程。 1.先熟悉一下朴素贝叶斯公式： 即： 2.判断一封邮件是否为垃圾邮件可以简化为如下概率问题： ①、P(垃圾|邮件内容)： 一个邮件内容为垃圾邮件的概率。 ②、P(正常|邮件内容)： 一个邮件内容为正常邮件的概率。 3.先熟悉一下单词概率计算方法： 例子： 下图中： ①、蓝色区域代表正常邮件 ②、橙色代表垃圾邮件 ③、假如每封邮件10个词汇。 ④、红色邮件代表：邮件中出现了几次“购买”词汇
朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解
IronmanJay的博客
02-12 5485
今天给大家带来的主要内容包括：朴素贝叶斯算法、拉普拉斯平滑。这些内容也是机器学习的基础内容，本文不全是严格的数学定义，也包括生动的例子，所以学起来不会枯燥。下面就是本文的全部内容了！
单片机驱动DM9000网卡芯片调试：经验贝叶斯平滑法详解
经验贝叶斯平滑（Empirical Bayes Smoothing）是一种统计方法，它被用于解决地理信息系统（GIS）中的空间自相关问题，即数据点之间的相关性可能不仅源于内在的空间邻近性，还可能受到某些共同因素的影响。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值