AB实验分析方法论 - matching

最新推荐文章于 2023-09-13 14:34:59 发布
最新推荐文章于 2023-09-13 14:34:59 发布
阅读量3k 收藏 15
点赞数 4
分类专栏： 数据科学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39793442/article/details/108659971
版权
本文介绍了AB实验分析中的Matching方法，特别是在处理渗透率低或去除干扰因素时的应用。详细阐述了Propensity Score Matching（PSM）的逻辑、步骤、优缺点，并提供了特征选择的建议。匹配方法如PSM旨在确保实验组和控制组的观测变量平衡，以准确评估策略影响。
摘要由CSDN通过智能技术生成

AB分析有一个总体的思路是这样子滴~
在这里插入图片描述
这次我们来讲一讲AB实验分析过程中的一个基本方法论 Matching。
Matching的方法其实大家在日常工作中都用过，一般是在大盘整体对比得不到显著影响的时候，继续寻找特征相似的细分用户进行对比分析，这其实是在‘术’这个层次把问题解决了。这篇文章呢，就帮你系统的梳理一下Matching的思想和逻辑，让你不但有术，亦有道。

matching啥时候用

  1. 渗透率低：比如这个功能只影响了某一批人，所以在分析大盘整体情况时，效果往往不显著，这时需要根据用户的特征行为找到相似的用户，转变为分析这波用户在受到策略后产生的效果，进而评估策略或者功能的好坏。
  2. 去除干扰因素，得到因果影响：去除其他变量对用户的干扰，通过matching找到特征相似的用户，只研究策略带来的因果影响。

matching有啥方法

  • PSM : 自变量为个体的各个控制变量、历史行为等特征，并对组别变量做概率回归，最后根据得到的概率的score来匹配控制组与实验组中score相近的个体。
  • CEM：跟据所有个体的变量特征进行完全匹配，连续型特征需要做分桶处理，离散型特征如果值比较多，也可以做分组处理。

今天先focus在PSM上，毕竟是最常用的方法：

最低0.47元/天 解锁文章
weixin_39793442
关注
专栏目录
大厂真实的AB实验方法论
weixin_39793442的博客
10-23 4525
这是一篇很详细的具有实操意义的AB实验方法论，为你揭秘一线大厂是如何进行AB实验设计与分析的， 码字（画图）不易，求各位看官点赞、收藏、关注~ Par 1 实验设计 基本流程 提出假设 -> 验证假设 -> 产品决策 -> 长期观察 应用场景 ...
AB实验分析流程
YWJ_WJY的博客
06-18 3047
Step1 制定关注指标 【方法】围绕业务制定实验中的核心关注指标（Driver Metrics），同时定义护栏指标（Guardrail Metrics） 【说明】护栏指标的存在，是为了防止我们的策略发生“捡芝麻掉西瓜”的情况。当护栏指标显著负向的时候，就算核心关注指标显著正向，我们依然不建议推全实验 ...
数据分析——AB实验
森谷蘑的博客
03-17 2万+
AB测试 什么是AB测试 AB测试的统计学原理 统计功效是什么 AB实验要开多久，样本量要多少 如何优雅的分析AB实验的结果 AB实验常见注意要点 1. 什么是AB测试 AB实验就是为了验证一个新的产品交互设计、产品功能或者策略、算法的效果，在同一时间段，给多组用户（一般叫对照组和实验组，用户分组方法统计上随机，多组用户统计角度无差别）分别展示优化前和优化后的产品交互设计，并通过数据分析，判断优化前后的方案在一个或多个评估指标上是否符合预期的一种实验方法。 通俗讲就是我们在线上可以切出一部分用户（降低风
AB测试结果分析
Jony0917的专栏
09-13 518
一、假设检验 根据样本（小流量）的观测结果，拒绝或接受关于总体（全部流量）的某个假设，称为假设检验。 假设检验的基本依据是小概率事件原理（小概率事件几乎不发生），如果小概率事件发生了，则有充分理由推翻原假设，否则接受原假设，检验的具体过程是： 首先假定原假设成立，并寻找一个原假设成立条件下的发生概率微小的事件，称为检验事件，对应的统计量称为检验统计量 其次是采集样本 最后观测步骤 1 所定义的小概率事件是否发生 若小概率事件发生，则拒绝原假设，接受备用假设 若小搞错了时间未发生，则接受原假
AB实验-抽样分析
风烟
12-18 608
单层抽样 各分为50%的用户，分为用户组A和用户组B，并且两个群体之间差异尽可能小，然后去看收益 单层抽样的典型方法 cookie抽样 以用户为粒度 优点：实验过程用户体验一致 场景：UI类场景，架构改造类实验 pv抽样 以单次pv为粒度 优点：更加无偏 场景：广告类实验，策略类实验 ...
算法工程师必备的 AB 实验方法手册
GitChat
04-04 1020
小王和小李是某公司的职员。最近，他们在如何提高公司收益的问题上产生了分歧。他们找到老板，希望由老板来拍板解决问题。老板听了他们的策略后，很难凭直观感觉和经验拍板哪个策略的收益更大。这时老板说：“让我们做个 AB 实验，让真实用户和数据来告诉我们答案。” 那么问题来了，什么是 AB 实验，AB 实验应该怎么做，实验结果应该如何评估？AB 实验也叫做 AB Test，其背后有着详细缜密的统计学理论基础...
数据分析36计(30)：关于 AB 实验的 1.5 万字总结
Pylady的博客
08-10 6001
实验原理假设检验的目标是拒绝原假设，它的核心是证伪。先假设原假设成立，然后计算原假设反面出现的概率，如果概率较大，则证明原假设不成立。对于 A/B Test 来说， p值是在实验组和对照组...
目标跟踪论文代码汇总
如果想成为中心，那么就到中心去吧。
07-21 889
近年来，分割任意模型（SAM）因其对图像分割性能而迅速获得了广泛的关注。由于其较强的图像分割能力和不同提示的高交互性，我们发现其在视频一致性分割效果较差。因此，在本报告中，我们提出了跟踪任何事物模型（TAM），它可以在视频中实现高性能的交互式跟踪和分割。详细地说，给定一个视频序列，只有很少的人类参与，也就是说，几次点击，人们可以跟踪任何他们感兴趣的东西，并在本体推理中得到令人满意的结果。没有额外的训练，这种交互式设计执行的视频对象跟踪和分割令人印象深刻。
(9) ab测试工具安装与使用
jianfpeng241241的专栏
10-26 761
一 安装  在任意目录下执行该命令：yum -y install httpd-tools 测试一下ab是否安装成功：ab -V
解决方案指导------匹配（Matching）（1）
qq_39025596的博客
12-04 1337
关于本手册 匹配是一种适合于在图像中查找和定位目标的方法。该解决方案指南引导您使用HALCON提供的各种匹配方法。 第7页第1节中介绍了可用的匹配方法，包括为特定应用选择特定方法的技巧。 第19页第2节讨论了一些适用于多种方法的通用主题。例如包括：选择合适的模板，速度提升的技巧和使用结果。 第57页第3节提供了一些关于个别的匹配方法的细节信息。 本解决方案指南中提供的HDevelop示例...
ab实验与假设检验
yichudu
03-10 1453
ab实验与假设检验
linux环境中ab命令简介及结果分析
热门推荐
　
05-25 5万+
ab（apache bench）是apache下的一个工具，主要用于对web站点做压力测试， 基础用法：  其中-c选项为一次发送的请求数量，及并发量。 -n选项为请求次数。 实验测试： [dev@web ~]$ ab -c 20 -n 50000 http://192.168.1.210/ This is ApacheBench, Version 2.3 Copyright
终于有人把AB实验讲明白了
大数据
07-31 1719
导读：近几年AB实验的曝光度越来越高。AB实验并不是近几年才有的，从推荐系统诞生开始，AB实验就扮演着重要的角色。本文主要介绍AB实验的基本概念，包括AB实验和在线AB实验的定义以及AB实验的常见类型。作者：刘玉凤来源：大数据DT（ID：hzdashuju）01 AB实验的定义AB实验又称为受控实验（Controlled Experiment）或者对照实验。AB实验的概念...
ab性能分析工具
str0708的博客
06-19 443
工作场景中偶尔会使用ab测试工具，下面记录下常用操作 ab -n 100 -c 10 -p 'test.json' -T 'application/json' 'http://localhost/test' 参数说明： -n 总请求数次数 -c 并发次数 -p： post参数文档路径 -T： header头内容类型 上面返回参数备注： Requests per secon...
AB实验核心知识点总结
baidu_26137595的博客
08-10 1917
本文较为全面的总结了AB实验涉及到的统计学知识、AB平台核心功能等，同时也给出AB不显著的分析思路，以及如何在sql中进行假设检验等，希望能够有帮助。
精准广告matching方案调研与分析
Path
04-13 874
一 背景 精准广告matching阶段查全率是影响业务效果的重要因素，matching结果作为广告rank的前置环节，是rank效果的天花板。随着业务发展，算法对matching环节查全率的要求越来越高，传统的“user->tag、tag->ad”两段式检索已经限制了业务的发展，我们的技术体系面临新的挑战——全库matching。 全库matching面临的主要挑战来自于计算量的大...
倾向得分匹配（PSM）的原理以及应用
淘系技术
04-18 2万+
该文章主要介绍倾向得分匹配（PSM, Propensity Score Matching）方法的原理以及实现。这是一种理论稍微复杂、但实现较为容易的分析方法，适合非算法同学的使用。可用于（基于观察数据的）AB实验、增量模型搭建等领域。文章主要分为四部分：前置知识（因果推断）介绍、倾向得分计算与匹配与匹配质量检验、匹配示例与增量计算还有一些补充的小知识点。对因果推断有简单了...
笔记︱盘点实验科学的三种实验模型（A/B实验、因果推断、强化学习）
素质云笔记
05-30 3304
文章目录1 A/B实验1.1 优点1.2 缺点1.3 使用场景2 因果推断2.1 优点2.2 缺点2.3 使用场景2.4 一些大厂方法论的总结3 多臂老虎机Bandit3.1 优点3.2 缺点3.3 使用场景 1 A/B实验 1.1 优点 通过流量细分可以同时追踪多个指标的变化趋势 A/B测试的解释性更好，适用于获得各个版本的优劣的统计置信（statistical significance）。需要知道当前版本相对于base的各个指标如何变动、置信水平有多大、什么因素影响了指标变动。这些关于因素的分析可以
AB实验的基本概念
qq_34276652的博客
03-24 578
下面以产品改版为例，则： H0：改动有用 H1：改动没用 Significance level of a test (α): 原假设为真时, 却拒绝原假设（Type I Error / 改动实际没用，但错误地认为它有用）的概率 Power of a test(1−β)： 原假设为假时，却接受原假设（Type II Error / 改动实际有用，但错误地认为它没用）的概率 ...
matching ab实验
最新发布
10-18
Matching AB实验是一种常见的实验设计方法，它被广泛应用于社会科学、医学和心理学等领域中。Matching AB实验的目的是通过匹配两组被试，以便对特定实验干预的效果...这种实验方法在社会科学研究中具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值