Machine Learning - A/B Test

最新推荐文章于 2022-01-12 11:32:15 发布
最新推荐文章于 2022-01-12 11:32:15 发布
阅读量839 收藏 2
点赞数 2
分类专栏： AI | 机器学习 docker | kubernetes 容器技术 文章标签： 机器学习 istio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ilfrost/article/details/107258666
版权

A/B test 并不是机器学习独有的概念，事实上随处可见，来感受下我身上的俩例子… 前两天买了一箱咖啡，打开后大部分还依旧是喜欢的包装，但有一小部分新包装，同时收到了用户调查，问是否喜欢新包装… 还比如，老婆给做饭，掺了一些新牌子的大米，问我口感咋样… 相信你也应该能立刻联想到自己也在不知不觉中被动做了很多A/B Test… LOL

那么回到机器学习，当创建了两个模型，或者同一个但使用不同参数的模型，怎么evaluate哪个好哪个坏？这时就可以考虑使用 A/B test；可将待比较的模型同时部署，通过控制流量/traffic，来比较两个模型的实际效果；

下面一个简单例子来实际展示下A/B Test在 Machine Learning中的应用；

下面例子使用MLflow打包SKlearn模型文件，Seldon模型部署

模型训练

并不是数据科学家，算法部分直接使用官网例子，请不要见笑

在这里插入图片描述
先在本机Jupyter内使用不同参数(红框)创建两个模型；

A/B TEST

最低0.47元/天 解锁文章
IT Panda
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
每天五分钟机器学习：为什么要进行AB测试？
huanfeng_AI的博客
10-29 554
A/B测试是互联网公司中常用的测试方式，A/B测试可以有效的验证新模块、新功能是否有效。用在机器学习中，可以有效的验证新模型是否有性能的提升。
[论文解读]关于机器学习测试,看这一篇论文就够了 Machine Learning Testing: Survey ,Landscapes and Horizons
年糕的博客
03-22 7407
Machine Learning Testing: Survey ,Landscapes and Horizons 文章目录Machine Learning Testing: Survey ,Landscapes and Horizons介绍摘要简介机器学习概论机器学习测试定义ML测试工作流测试在ML开发中的作用离线测试在线测试ML测试组件ML测试属性正确性模型相关性鲁棒性安全性数据隐私效率公...
MachineLearningTest:机器学习实战的练习代码，按照源代码重新手打了一遍并添加了自我的注释理解
03-23
机器学习测试 机器学习实战的练习代码，按照源代码重新手打一遍并添加了自我的注释理解。同时放了一些爬虫的代码，做测试用。
机器学习面试题集 - 如何进行 A/B 测试
喜欢打酱油的老鸟
06-07 1155
https://www.toutiao.com/a6699055831033315847/ 2019-06-05 22:38:20 什么是 A/B 测试？ A/B 测试什么时候用？ 如何应用 A/B 测试？ 什么是A/B 测试 A/B 测试是最简单的对照实验方法，可以用来对产品的两个版本进行比较。 将用户随机分成两组，这样两组数据可以来自同一分布。 一组叫...
【机器学习与深度学习理论要点】07.A/B测试的概念及用法
yegeli的博客
08-08 705
1）什么是A/B测试? A/B测试就是两种模型同时运行，并在实际环境中验证其效果的方式。在互联网公司中，A/B测试是验证新模块、新功能、新产品是否有效，新算法、新模型的效果是否有提升，新设计是否收到用户欢迎，新更改是否影响用户体验的主要测试方法。在机器学习领域中，A/B测试是验证模型最终效果的主要手段。 2）为什么需要A/B测试？ 离线评估无法完全消除模型过拟合的影响，因此，得出的离线评估结果无法完全替代线上评估结果。 离线评估无法完全还原线上的工程环境。一般来讲，离线评估往往不会考虑线上环境的延迟、数据
【机器学习的一些问题】模型评估之A/B测试
阿里萨的博客
06-01 837
进行在线A/B测试的原因： 离线模型不能消除过拟合问题。离线评估结果无法完全代替线上评估结果。 离线评估不能还原线上工作环境。比如环境延迟、数据丢失、标签缺失等等。 线上系统的商业指标在离线评估中无法计算。线上评估可以全面了解到用户点击率、留存时长等数据的变化。 如何进行在线A/B测试： 用户随机分桶，实验组-新模型，对照组-旧模型，要保证样本的独立性和采样的无偏性。 如何分桶： 避免...
Thoughtful Machine Learning with Python: A Test-Driven Approach
01-21
Thoughtful Machine Learning with Python: A Test-Driven Approach English | 25 Aug. 2016 | ISBN: 1491924136 | 250 Pages | AZW3/MOBI/EPUB/PDF (conv) | 16.77 MB By teaching you how to code machine-...
Test-Driven Machine Learning azw3
09-27
Test-Driven Machine Learning 英文azw3 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Thoughtful Machine Learning A Test-Driven Approach
09-02
Learn how to apply test-driven development (TDD) to machine-learning algorithms—and catch mistakes that could sink your analysis. In this practical guide, author Matthew Kirk takes you through the ...
Thoughtful Machine Learning with Python A Test-Driven Approach 无水印pdf 0分
01-22
Thoughtful Machine Learning with Python A Test-Driven Approach 英文无水印pdf 正式版 pdf使用FoxitReader和PDF-XChangeViewer测试可以打开
matlab人脸匹配代码-MachineLearningTest:机器学习测试
05-23
matlab人脸匹配代码热门深度学习项目 与深度学习相关的流行github项目列表（按星号排列）。 最后更新：2016.08.09 项目名 星星 描述 29622 使用数据流图进行计算以进行可扩展的机器学习。 11799 Caffe：深度学习的快速开放框架。 10148 火炬神经算法的实现。 9042 深梦。 7502 适用于Python的深度学习库。 卷积网络，递归神经网络等。 在Theano和TensorFlow上运行。 7170 DeepMind 2016年自然出版物的独立，学生主导的复制品，“用深度神经网络和树搜索掌握围棋游戏”（自然529，484-489，2016年1月28日）。 6671 使用TensorFlow构建的模型 6275 使用深度神经网络将您的两位涂鸦变成精美的艺术品，从照片生成无缝纹理，将样式从一幅图像转移到另一幅图像，执行基于示例的放大，但是等等……还有更多！ （语义样式转换的实现。） 5957 计算网络工具包（CNTK）。 5872 TensorFlow教程和代码示例，供初学者使用。 5231 用Java进行深度学习。 在浏览器中训练卷积神经网络（或普通的
A/B-test显著性检验
热门推荐
buracag_mc的博客
07-09 5万+
同步至：https://www.runblog.online/2019/03/18/ab-test-significance-test/ 前言 ################################################################# ## 本文是我在实习期间老大要求出的，故整理发布到博客上，欢迎大家拍砖 ！## ## 另外，注释内容及部分公式内...
1-3 机器学习基础-机器学习模型评估-A/B测试
记录与分享AI资料与学习过程
01-12 1256
机器学习模型评估-A/B测试 1、什么是精确率？什么是召回率？ 2、什么是ROC曲线？ 3、什么是A/B测试？ 4、为什么要进行线上A/B测试？ 5、在A/B测试中如何进行流量分割？
谈谈A/B Test
京东云成都团队的专栏
11-15 1万+
当你在多个方案之间举棋不定，无法拍板哪一个更优秀的时候，你是否希望你的用户来帮你决定？什么？用户来决定，开什么玩笑。。。。是的，A/B test可以帮你做这件事情 1 什么是A/B test A/B测试（也称为分离测试，国内习惯称为A/B test）是一种意在提高转换率和反响率的测试方法,常用于网页优化及市场营销，新的A / B测试，不仅仅其范围限制在web分析方面，而是为其注入新
AB test学习笔记
weixin_30617797的博客
07-16 1430
AB Test 介绍： https://vwo.com/ab-testing/ AB Test 的意义： 数据分析告诉我们要不要去做一件事情，ab 实验反馈告诉我们我们做得好不好，哪里有问题，以及衡量可以带来多少确定性的增长。 一、理论基础 1、中心极限定理： 大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如Sample S...
使用贝叶斯统计来进行更好更直观的A/B测试
deephub
01-04 6142
为什么要使用贝叶斯A / B测试代替传统方法 A / B测试是当今技术，市场营销和研究中最有用的统计技术之一。它的价值在于A / B测试可让您确定因果关系，而大多数分析仅揭示相关性（即古老的格言“相关性而非因果关系”）。尽管A / B测试功能强大且流行程度很高，但绝大多数A/B测试都遵循一种基于频率主义统计学派的t测试的单一方法。本文将介绍A/B测试的另一种方法。这种替代方法使用了贝叶斯统计学派，本文将演示这种方法如何比传统的、频繁的方法返回更直观的结果。 传统的、频繁主义的方法使用假设作为A/B测试的框架
【机器学习】笔记1：Machine Learning 基本术语与概念
Eivind
08-19 239
文章目录Preface1. Machine Learning2. Notations2.1 假设空间 Preface 在学习林轩田老师的机器学习基石和技法课程中，发现有许多符号并不熟悉。偶然翻阅周志华老师的西瓜书，发现绪论部分作了详细解释，与轩田老师的课件中的符号表示习惯基本一致，特做此记录。 1. Machine Learning 2. Notations 2.1 假设空间 反映事件或者对象在...
ABtest用于推荐系统性能衡量
沈春旭的博客
10-13 6583
1. 背景介绍 无法衡量就无法优化，对于互联网产品而言，不仅是推荐系统，整个 app 系统的更新迭代必然需要建立一套度量衡，来把控整个流程优化的方向。而 ABtest 系统就是一个很好的进行变量控制和优化方向选取的工具，循环：衡量 - 发现 - 迭代 - 验证。所谓精细化迭代是一种建立在数据基础上的思维方式——用较少的成本获得较好的效果。无数据，不优化， 线上分流实验是进行推荐算法优化的必由之路...
dataset = tv.datasets.ImageFolder("./tiny-imagenet-200/test", myTransform) dataloader = DataLoader(dataset, 8)
最新发布
03-30
and creates a dataloader object with a batch size of 8 for loading the images into memory during training or evaluation of a machine learning model. The dataset is assumed to be in the "tiny-imagenet...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值