spark AUC 计算实现(Scala)

最新推荐文章于 2024-07-24 19:56:38 发布
最新推荐文章于 2024-07-24 19:56:38 发布
阅读量7.4k 收藏 4
点赞数 3
文章标签： Spark Scala AUC 预测 推荐
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bianzhicool/article/details/53538852
版权

假设预测值的RDD为pred

实际真实值的RDD为realVal

我们计算AUC的公式为：


则AUC的计算可以按如下代码实现：


def aucCal(pred:RDD[(Long,Double)],realVal:RDD[(Long,Double)]):Double={

     //join 操作

val pre=pred.zipWithIndex

val label=realVal.zipWithIndex
        val combPair=pre.join(label)

//计算正样本的ran

最低0.47元/天 解锁文章
bianzhicool
关注
Spark上如何做分布式AUC计算
Unicorn
01-15 9252
by 王犇 20160115 AUC是分类模型常用的评价手段，目前的Spark mllib里面evaluation包中所提供的auc方法是拿到了roc曲线中的各个点之后再进行auc的计算，但是实际应用场景中（以逻辑回归为例），我们常常是对每个样本进行打分之后整合样本的label直接进行auc的计算，输入可能是（label, predict_score）这样的形式，mllib中提供的方案就不太适用
广告推荐算法（group auc）评价指标及Spark实现代码
weixin_45866907的博客
11-18 1351
我们曾经有这样的疑惑，那就是训练样本，AUC得到提升。当将新模型放到线上后，却发现实际效果却没有老模型好，这时候很多人就开始疑惑了。 ​ 在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击...
机器学习 | 计算分类算法的ROC和AUC曲线以随机森林为例
最新发布
python收藏家的博客
07-24 1558
总之，计算随机森林分类器的ROC AUC分数在Python中是一个简单的过程。sklearn.metrics模块提供了计算ROC曲线、ROC AUC评分和PR曲线的函数。ROC曲线和PR曲线是评估二值分类器性能的有用工具，它们可以帮助基于不同评估指标之间的权衡来选择分类器的最佳阈值。PR（precision-recall）曲线是二元分类问题的另一个评估指标。PR曲线是针对不同分类阈值的精确度（y轴）对召回率（x轴）的图。
关于AUC计算公式推导
BUPT-WT的博客
04-08 4230
基本公式推算 基本排名的公式推算 注：推荐系统的评估指标就是AUC，之前看过AUC的公式，网上很多讲解AUC的帖子讲的都不是很清楚，实现起来都是调包，今天早上突然看到学习资料里面有一个pdf文件(这个文件也没有备注是谁写的，哈哈哈)介绍AUC的公式推导的，讲的比较清楚，我看懂啦，分享给大家！ ...
sql 计算auc
weixin_30700099的博客
04-02 755
https://tracholar.github.io/machine-learning/2018/01/26/auc.html select (ry - 0.5*n1*(n1+1))/n0/n1 as aucfrom( select sum(if(y=0, 1, 0)) as n0, --50 sum(if(y=1, 1, 0)) as n1,--100...
Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战
BITDDD小栈
04-06 1549
Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。
Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐
?
06-26 1万+
Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐 基于Spark MLlib 实现音乐推荐 一、实验背景： 熟悉 Audioscrobbler 数据集 基于该数据集选择合适的 MLlib 库算法进行数据处理 进行音乐推荐（或用户推荐） 二、实验目的： 计算AUC评分最高的参数 利用AUC评分最高的参数，给用户推荐艺术家 对多个用户进行艺术家推荐 利用AUC评分最高的参数，给艺术家推荐喜欢他的用户 三、实验步骤： 安装Hadoop和Spark 启动Hadoop与Spark 将文件上传到
xgboost-spark-scala
maokunnn的博客
04-07 1226
今天学习写scala，拿xgboost试一下～ 先记一下xgboost调参要点： 7.xgboost中比较重要的参数介绍 （1）objective [ default=reg:linear ] 定义学习任务及相应的学习目标，可选的目标函数如下： “reg:linear” –线性回归。 “reg:logistic” –逻辑回归。 “binary:logistic” –二分类的逻辑回归问题，输出为概...
scala-sparkML学习笔记：scala解析json文件
MachineLP的专栏
08-30 1378
在搭建一些工程项目时，往往需要有配置文件，而配置文件很多是基于json格式组织的。 这里可直接看代码： import scala.util.parsing.json.JSON._ import scala.io.Source object XMLHelloWorld { def main(args: Array[String]): Unit = { def regJson...
二分类模型评价指标-Scala实现
此心安处是吾乡
03-25 1408
本文主要使用Scala计算二分类模型的评价指标，包括以下内容： precision、recall、F1Score accuracy AUC KS 对上述指标计算方法进行封装，方便调用。传入参数为预测的数据框 构造数据 简单的构造数据，得到预测的DataFrame，其包含预测的概率、label和真实的label。 import org.apache.spark.ml.{Model, Pipeli...
ROC和AUC介绍以及如何计算AUC
wsq520521的专栏
11-18 1736
ROC和AUC介绍以及如何计算AUC June 22, 2013 ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。 ROC曲线 需要提前说明的是，我们这里只讨论二
Spark2.0机器学习系列之2：Logistic回归及Binary分类（二分问题）结果评估
qq_34531825的博客
08-25 2万+
参数设置α：梯度上升算法迭代时候权重更新公式中包含 α ： http://blog.csdn.net/lu597203933/article/details/38468303 为了更好理解 α和最大迭代次数的作用，给出Python版的函数计算过程。# 梯度上升算法-计算回归系数 # 每个回归系数初始化为1 # 重复R次： # 计算整个数据集的梯度 # 使用α*梯度更新回
scala 常用函数（持续更新）
withme的博客
06-01 1057
1.时间转日期val sdf = new SimpleDateFormat("yyyyMMdd") val date = sdf.format(new Date(time * 1000)) //转成毫秒
基于sklearn 的auc 计算方法
热门推荐
CV前沿
04-16 5万+
from sklearn import cross_validation,metrics from sklearn import svmtrain_data,train_target = load(filename)#自定义加载数据函数，返回的是训练数据的数据项和标签项 train_x,test_x,train_y,test_y = cross_validation.train_test_split
scala集合之运算函数
weixin_45052608的博客
05-13 493
创建集合 Map(a -> 2, b -> 1) List((a,2), (b,3), (c,1)) Set(1, 3, 5, 6) 1,2,3 object Main extends App { val map = Map("a" -> 2,"b" -> 1) val list = List(("a",2),("b",3),("c",1)) val set = Set(1,3,5,6) val arr = Array(1,2,3) } 求和：.
python auc计算
07-27
- *1* [Python编程：实现AUC计算（含完整代码）](https://blog.csdn.net/ai52learn/article/details/130304627)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值