Isotonic Regression

最新推荐文章于 2024-09-06 17:11:52 发布
最新推荐文章于 2024-09-06 17:11:52 发布
阅读量872 收藏 2
点赞数
文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaofeipaopaotang/article/details/107846370
版权
本文探讨了模型预估值的偏差原因及校准方法，重点介绍了Isotonic Regression在点击率估计模型校准中的应用，包括其模型定义、目标函数及算法步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

模型校准

模型的预估值往往存在偏差，其原因包括：

  • 模型的假设不一定完全成立，比如贝叶斯模型对事件独立同分布的假设
  • 训练样本是有偏差的，没有反应真实的分布情况
  • 训练算法的缺陷，导致并没有学习到最优的参数

以点击率估计为例，某些场景下，有偏点击率是可以直接使用，比如排序场景下重要的是估计值的相对大小，点击率绝对值并不重要；另一些场景下，有偏估计值需要经过校正后才能使用，比如过滤逻辑中点击率的绝对值就会影响物品会不会被过滤掉，例如风控模型，另外将点击率作为其他模型输入的情况下，点击率的绝对值也是有意义的。

模型校准的方法主要有Platt Scaling和Isotonic Regression，前者适用于样本量较少的情况，后者适用于样本量较多的情况。本文主要介绍后者，有空再补充前者的介绍。

Isotonic Regression

Isotonic regression的模型定义如下：

y i = f ( x i ) + ϵ y_i=f(x_i)+\epsilon yi​=f(xi​)+ϵ

其中 x i x_i xi​为估计值， y i y_i yi​为真实值， f f f为估计值到真实值的映射， ϵ \epsilon ϵ为误差。Isotonic regression的目标为找到一个估计值到真实值的单调递增函数 f ^ \hat{f} f^​，满足：

f ^ = A r g M i n f ( y i − f ( x i ) ) 2 ， 1 ≤ i ≤ N \hat{f}=ArgMin_{f}(y_i-f(x_i))^2，1\le i\le N f^​=ArgMinf​(yi​−f(xi​))2，1≤i≤N

其实就是真实值的最小二乘估计，额外的约束是映射必须是单调递增的。Isotonic regession的一种求解算法称为PAV算法，时间复杂度为o(n)，这里不展开介绍了。

以点击率为例，应用isotonic regession一般分为以下几个步骤：

  • 准备训练好的点击率预估模型，以及单独的用于训练isotonic regression模型的标记数据
  • 将点击率区间[0, 1]划分为N个桶，例如 N = 1 0 5 N = 10^5 N=105，可以采用等长度划分，也可以采用变长度划分，使得落入桶内的样本分布均匀，也就是等样本量划分
  • 对数据集采样模型进行预估，得到点击率估计值，根据点击率估计值样本落入对应区间的分桶内
  • 每个分桶内的标记数据，可以计算出平均估计点击率和平均真实点击率，全部N个桶的平均估计点击率和平均真实点击率作为训练数据训练isotonic regression模型
  • 在需要校准点击率的场景下，由点击率估计模型输出校准前点击率，由isotonic regression模型输出校准后点击率
jony0917
关注
多项式回归、分位数回归（Quantile Regression）、保序回归（Isotonic Regression）、RANSAC回归、核岭回归、基准回归模型（baseline）
data+scenario+science+insight
06-27 3516
多项式回归、分位数回归（Quantile Regression）、保序回归（Isotonic Regression）、RANSAC回归、核岭回归、基准回归模型（baseline） 目录 多项式回归、分位数回归（Quantile Regression）、保序回归（Isotonic Regression）、RANSAC回归、核岭回归、基准回归模型（baseline） 多项式回归 分位数回归（Quantile Regression） 保序回归（Isotonic Regression） RANSAC回归
模型预测结果校准——Isotonic regression
ClaireQi的博客
07-16 1万+
模型预测结果校准——Isotonic regression   方法简介： Isotonic Regression: the method used by Zadrozny and Elkan (2002; 2001) to calibrate predictions from boosted naive bayes, SVM, and decision tree models.[1] Za...
保序回归（isotonic_regression）
zhangbaoanhadoop的博客
08-31 2165
http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py代码就不贴了，参考上面链接。看代码，给人的直观感受类似于CART，具有分段回归的效果。不过很少见人用这个方法，还是推荐使用CART吧，不过了解一下思想罢了。。。给个简单的例子：问题描
Isotonic Regression 校准
罗伦
06-21 5549
转载自: vividfree的博客 使用 Isotonic Regression 校准分类器 1. 引言 对有监督机器学习问题，通常的训练流程包括这样几步：先建立起模型，然后在训练集上训练模型，如果有超参数，还需要在验证集上应用交叉验证以确定超参数，总之最终会得到一个模型。在这样的流程下，不断优化模型，如果在测试集上取得了较高的准确率、召回率、F-score或者AUC后，...
Isotonic regression--保序回归
热门推荐
学渣的博客
03-30 2万+
本文介绍了 Isotonic regression 的定义、调用方法以及在模型输出校准领域的运用。 目录1 定义2 调用方法 1 定义 The class IsotonicRegression fits a non-decreasing real function to 1-dimensional data. It solves the following problem: ∑iwi(yi−y^i)2\sum_i w_i (y_i - \hat{y}_i)^2∑i​wi​(yi​−y^​i​)2 subje
第100+21步 ChatGPT学习：概率校准 Isotonic Regression
Jet4505的博客
08-13 962
第100+21步 ChatGPT学习：概率校准 Isotonic Regression
Spark MLlib模型训练—回归算法 Isotonic Regression
2401_84052244的博客
09-06 3825
单调回归是一个强大且灵活的工具，尤其适用于处理存在单调关系的数据集。在 Spark 中，Isotonic Regression 提供了对大规模数据进行高效单调回归分析的能力。通过合理的参数设置和数据预处理，单调回归能够在价格预测、风险评估和健康管理等领域提供有价值的预测结果。掌握单调回归的原理并熟悉其应用技巧，对于解决涉及单调关系的实际问题至关重要。
1.15. Isotonic regression(保序回归)
matrix_studio的博客
03-07 1963
1.15. Isotonic regression(保序回归) 一、描述 保序回归，正如它的名字，是一种对预测值施加了“保序”约束的一种回归分析。“保序”的严格定义我们暂且不表，可以简单的理解为一种“对任意Xi≤XjX_i\le X_jXi​≤Xj​，必须有 yi≤yjy_i \le y_jyi​≤yj​”的一种约束。 在它的目标函数∑iωi(yi−yi^)2\sum_i\omega_i(y_i-\hat{y_i})^2∑i​ωi​(yi​−yi​^​)2 中，mse部分很好理解，代表损失，参数ωi\om
103 保序回归 isotonic regression
bea_tree的博客
03-30 9236
1.关于isotonic regression 首先sklearn粘上原贡献者的博客Isotonic Regression  http://fa.bianp.net/blog/2013/isotonic-regression/ 及Wikipedia上的解释https://en.wikipedia.org/wiki/Isotonic_regression 这种回归，是这一种不减函数的回归，回归
Isotonic regression
xiangqianzsh的专栏
08-08 811
Isotonic regression http://stat.wikia.com/wiki/Isotonic_regression
Pyspark回归--IsotonicRegression
weixin_46408961的博客
03-12 447
IsotonicRegression保序回归 class pyspark.ml.regression.IsotonicRegression(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, weightCol=None, isotonic=True, featureIndex=0) 目前使用并行池相邻违规者算法实现。仅支持单变量（单一特征）算法 featureIndex = Param(parent=‘undefine
机器学习：保序回归(IsotonicRegression)：一种可以使资源利用率最大化的算法
AI168178的博客
08-29 872
保序回归是回归算法的一种,基本思想是：给定一个有限的实数集合,训练一个模型来最小化下列方程：
Spark - Isotonic Regression 理论与实战
BITDDD小栈
03-29 950
SparkIsotonic Regression 保序回归理论与实战。
scikit-learn： isotonic regression（保序回归，非常有意思，仅做知识点了解，但差点儿没用到过）...
weixin_34051201的博客
05-29 419
http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py 代码就不贴了，參考上面链接。 看代码，给人的直观感受类似于CART，具有分段回归的效果。只是非常少见人用这种方法，还是推荐使用CART吧，只是了解一下思想罢了...
scikit-learn： isotonic regression（保序回归，很有意思，仅做知识点了解，但几乎没用到过）
mmc2015的专栏
08-16 5665
http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py 代码就不贴了，参考上面链接。 给个简单的例子： 问题描述：给定一个无序数字序列y，通过修改每个元素的值得到一个非递减序列 y‘ ，问如何使y和 y’
IsotonicRegression、LinearRegression、RandomForestRegressor与FMRegressor
weixin_41046245的博客
06-13 1085
因子分解机（Factorization Machines，FM）回归是一种基于因子分解的回归方法，适用于高维稀疏数据。随机森林回归（Random Forest Regression）是一种集成学习方法，通过训练多棵决策树来改善回归预测的准确性。它结合了随机森林的思想和回归树的概念。它试图在保持数据顺序的同时，拟合出一个单调非减或非增的函数。同时最小化损失函数，常用的损失函数为均方误差（Mean Squared Error）或者基于秩的损失函数。线性回归是一种基本的线性模型，用于建模响应变量。
【Python机器学习】零基础掌握IsotonicRegression等渗回归
Mr数据杨
10-28 501
单调回归（Isotonic Regression）模型在解决红巾军战争战局预测问题中表现出色。通过分析士兵数量、食物储备和士气与战局胜败之间的关系，模型成功预测了增加士兵数量将提高战争胜算。模型的运用不仅局限于历史战争场景，还可以广泛应用于现实世界的各种优化问题。优点总结，单调回归模型有其明确的优势，主要体现在模型简单、易于解释和具有良好的可扩展性。优点名称描述说明模型简单无需复杂的参数调优易于解释结果直观，易于理解可扩展性强适用于各种规模的数据。
scikit学习心得——Isotonic Regression
qq_14905099的博客
11-18 2140
Isotonic Regression
【Python机器学习】零基础掌握isotonic_regression等渗回归
Mr数据杨
10-28 577
等渗回归算法主要用于找出一个自由度较低、更平滑的函数来拟合输入数据。在电商平台商品推荐和商朝货币改革的案例中，该算法都表现出较高的实用性和准确性。等渗回归也是一个在某些特定应用场景下非常有用的算法，但也有其局限性。选择是否使用该算法应根据实际问题和数据类型来决定。优点总结，等渗回归算法能有效地减少噪声，提供更平滑的数据拟合。这在处理复杂或不规则数据时特别有用。优点名称对应描述说明易于实现算法本身不复杂，易于理解和实施平滑度高能有效减少数据噪声自适应性强能适应各种形态的数据分布计算效率高。
使用sklearn实现并评估一个较为冷门的回归模型
最新发布
11-08
在Scikit-learn库中，有一些相对不太常见的回归模型可供选择，比如局部加权回归（Local Regression）、Isotonic Regression等。这里以Isotonic Regression为例来说明如何实现和评估： 首先，你需要安装scikit-learn和相关的数据处理库（如pandas、numpy）： ```bash pip install scikit-learn pandas numpy ``` 然后导入必要的模块： ```python import sklearn from sklearn.isotonic import IsotonicRegression from sklearn.model_selection import train_test_split, cross_val_score from sklearn.metrics import mean_squared_error import pandas as pd import numpy as np ``` 假设你已经有了一个数据集（例如`df`），其中包含特征列`X`和目标变量`y`： ```python X = df[['feature1', 'feature2']] # 替换为实际的特征列名 y = df['target'] # 替换为目标变量名 ``` 接下来，将数据划分为训练集和测试集： ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` 创建并训练Isotonic Regression模型： ```python ir_model = IsotonicRegression() ir_model.fit(X_train, y_train) ``` 评估模型性能，通常使用交叉验证计算平均均方误差（MSE）： ```python cv_scores = cross_val_score(ir_model, X, y, cv=5, scoring='neg_mean_squared_error') mse_scores = -cv_scores # 因cross_val_score返回的是负值，所以取反得到MSE print("Cross-validation MSE scores:", mse_scores) mean_cv_mse = np.mean(mse_scores) print("Mean Cross-validation MSE:", mean_cv_mse) ``` 最后，预测测试集结果，并计算测试集的RMSE（Root Mean Squared Error）： ```python y_pred = ir_model.predict(X_test) rmse = np.sqrt(mean_squared_error(y_test, y_pred)) print("Test set RMSE:", rmse) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值