- 博客(495)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 因果推断与反事实预测——盒马KDD2021的一篇论文（二十三）
参考：KDD2021论文推荐：盒马-融合反事实预测与MDP模型的清滞销定价算法Markdowns-in-E-Commerce-Fresh-Retail-A-Counterfactual-Prediction-and-Multi-Period-Optimization-Approach利用机器学习因果推理进行弹性定价数据分析36计(29)：价格需求弹性和因果推断简单版：DML.ipynb数据集：Association Rules and Market Basket Analysis论文地址：h
2022-01-02 22:19:04
8408
3
原创 Google 因果推断的CausalImpact 贝叶斯结构时间序列模型（二十二）
之前一篇:跟着开源项目学因果推断——CausalImpact 贝叶斯结构时间序列模型（二十一）这里另外写一篇来继续研究一下CausalImpact这个开源库的一些细节的1 CausalImpact 一些可调参数1.1 CausalImpact默认的两种算法CausalImpact默认使用TensorFlow Probability来求的两种算法，分别是Variational Inference和Hamiltonian Monte CarloVI，变分推断，变分推断（Variational In
2021-12-29 10:11:24
4427
1
原创 跟着开源项目学因果推断——CausalImpact 贝叶斯结构时间序列模型（二十一）
文章目录1 Causal Impact与贝叶斯结构时间序列模型1.1 观测数据下Causal Impact的背景由来1.2 贝叶斯结构时间序列模型1.3 谷歌的Causal Impact2 一些案例2.1 CausalImpact的时序选择2.2 日文案例:CausalImpactの理解と実装2.3 [翻译]R语言案例：An R package for causal inference using Bayesian structural time-series models3 官方：TensorFlow C
2021-12-23 18:55:32
7487
3
原创 因果推断笔记——DR ：Doubly Robust学习笔记（二十）
文章目录0 观测数据的估计方法0.1 Matching0.2 Propensity Score Based Methods0.2.1 PSM0.2.2 IPW0.2.3 Doubly Robust0.2.4 数据驱动的变量分解算法（D²VD）0.3 Directly Confounder Balancing0.3.1 Entrophy Balancing0.3.2 Approximate Residual Balancing1 DR ：Doubly Robust1.1 DR的理论基础1.1.1 ATE的估计
2021-12-20 17:22:20
4712
1
原创 因果推断杂记——因果推断与线性回归、SHAP值理论的关系（十九）
文章目录1 因果推断与线性回归的关系1.1 DML的启发1.2 特殊的离散回归 = 因果？2 因果推断中的ITE 与SHAP值理论的思考1 因果推断与线性回归的关系第一个问题也是从知乎的这个问题开始：因果推断（causal inference）是回归（regression）问题的一种特例吗？其中经济学大佬慧航提到过，回归只是工具，因果推断可以用，其他研究方向也可以用。在此给出我的看法，因果推断，是需要考虑干预得（Y|X,T），其中干预效应是主要的差异点；而一般的多元，只是(Y|X)，并
2021-12-15 15:17:00
6255
2
原创 A/B Test︱一轮完美的A/B Test 需要具备哪些要素
文章目录1 A/B Test 实验的业务意义2 相关概念理解2.0 AB实验2.1 AA分组 —— 更好筛选样本2.2 混杂因素2.3 根据实验种类分类2.4 互斥实验2.5 流量正交&正交实验2.6 分层原则2.7 灰度发布2.8 留存率2.9 统计 假设检验2.10 p-value2.11 校验灵敏度MDE3 AB test完整流程3.1 完美的 ABTest的流程是什么？3.2 样本量选择3.3 如何确定实验需要多少天？4 A/B TEST 合理的分组4.1 CR - 完全随机分组**CR（C
2021-12-10 16:50:59
11334
2
原创 重复事件（表现形态：活跃、留存、复购）建模（生存分析）的案例学习笔记
医学中，重复事件较多，那么放在一些大场景中就会有，用户重复点击/浏览（留存），重复购买（复购）这些场景。最近也看到一些类似的case就简单整理一下：笔者之前生存分析的文章：生存分析——泊松回归(LightGBM)实现生存分析（四）生存分析——跟着lifelines学生存分析建模（三）生存分析——KM生存曲线、hazard比例、PH假定检验、非比例风险模型（分层/时变/参数模型）（二）生存分析——快手的基于深度学习框架的集成⽣存分析软件KwaiSurvival（一）1 腾讯看点：扩展Cox
2021-11-04 19:00:20
2858
原创 跟着开源项目学因果推断——FixedEffectModel 固定效应模型（十七）
这个开源项目来源于快手，当然对于快手的开源项目是有前车之鉴的【生存分析——快手的基于深度学习框架的集成⽣存分析软件KwaiSurvival（一）】。KwaiSurvival让我觉得是实验代码，今天要接触的FixedEffectModel 稍好一些，但是仍然关联文档非常匮乏呀。1 来源启发源头来自一篇文章，来源地址：因果分析工具在快手的应用2 说说固定效应模型开发库的应该是计量经济方向的老师，FEM模型可是我们专业的论文利器，先来快速帮助自己回忆一下当年做这个模型的固定建模套路。2.1.
2021-10-21 18:59:28
5362
原创 因果推断笔记——DML ：Double Machine Learning案例学习（十六）
1 surrogate indices代替指标试图利用一个近期的或容易得到的中间指标来替代远期的或难以得到的终点指标。抑制心律失常能降低发生心脏骤停的可能性，曾将[抑制心律失常]作为评价[治疗猝死药物]的替代指标。因为混杂因子而造成了很多的悖论：Yule-Simpson 悖论:吸烟分别对男性和对女性都有害，但是吸烟对人类有益替代指标悖论:临床试验将心律失常作为猝死的替代指标。但是，一些能有效纠正心律失常的药物，后来发现不但不能减少猝死，反而导致数万人过早死亡http://www.engin
2021-10-19 18:01:15
17126
5
原创 跟着开源项目学因果推断——mr_uplift（十五）
文章目录1 mr_uplift 介绍2 案例模拟1 mr_uplift 介绍https://github.com/Ibotta/mr_uplift目前有几个升级模型包(参见EconML、GRF、PTE)。他们倾向于用有趣的方法来估计异质处理效果。然而，主要模型中倾向于关注单一response、单一treatment 情景。mr_uplift开源库，试图为Uplift建模构建一个自动化的解决方案，包括以下特性:允许多种treatments 。可以在每一种干预下，合并元特征，比如用向量来表示tre
2021-10-09 15:48:48
930
原创 跟着开源项目学因果推断——whynot（十四）
文章目录WhyNot是一个Python包，它提供了一个用于动态决策的实验沙箱，将因果推理和强化学习工具与具有挑战性的动态环境连接起来。该软件包有助于开发、测试、基准测试和教学因果推理和顺序决策工具。github: https://github.com/zykls/whynot文档：https://whynot.readthedocs.io/en/latest/下载：pip install whynot举一个例子 hiv_simulator.ipynb%load_ext autorel
2021-09-30 16:05:27
700
原创 跟着开源项目学因果推断——causalnex（十三）
文章目录1 causalnex 介绍1.1 安装2 使用的模型1 causalnex 介绍1.1 安装pip install causalnexgithub:https://github.com/quantumblacklabs/causalnex文档链接:https://causalnex.readthedocs.io/en/latest/02_getting_started/02_install.htmlCausalNex是一个Python库，使用贝叶斯网络将机器学习和领域专业知识结合
2021-09-29 17:17:08
3835
8
原创 笔记︱统计评估指标AUC 详解
文章目录1 AUC的两种解读视角：1.1 ROC曲线与坐标轴形成面积1.2 古典概率模型——求导AUC2 AUC的特性与优劣3 AUC多大才算好？4 线上、线下AUC差异较大成因分析4.1 业务场景使用AUC：点击模型与购买模型的差异4.2 线上、线下AUC有差异5 AUC逻辑升级 - GAUC参考文献1 AUC的两种解读视角：1.1 ROC曲线与坐标轴形成面积AUC 的全称是 AreaUnderRoc 即 Roc 曲线与坐标轴形成的面积，取值范围 [0, 1].Roc (Receiver ope
2021-09-25 11:41:04
12810
原创 因果推断笔记——因果图建模之Uber开源的CausalML（十二）
CausalML，这是一个开放源码的Python包，它提供了一套基于最近研究的机器学习算法的提升建模和因果推理方法。我们将介绍CausalML的主要组成部分:(2) 验证/分析方法(如合成数据生成、AUUC、敏感性分析、可解释性)，(3) 优化方法(如策略优化、价值优化、单元选择)。github：https://github.com/uber/causalml其余两篇开源项目的文章：因果推断笔记——因果图建模之微软开源的EconML（五）因果推断笔记——因果图建模之微软开源的dowhy（一）
2021-09-14 22:17:47
6931
6
原创 因果推断中期学习小结
废话文学一下：入门学习因果推断三周，总算是入了个门来集结一下前十篇分别是：因果推断笔记——因果图建模之微软开源的dowhy（一）[1]因果推断笔记—— 相关理论：Rubin Potent...
2021-09-13 09:10:00
1484
原创 入门学习因果推断在智能营销/权益应用的通用框架
废话文学一下：入门学习因果推断三周，总算是入了个门…就着智能权益方面的两个问题（给什么人发券？+ 发什么券？）简单总结一下两个问题的通用框架（借一张哈罗顺风车的图，如上）可以从很多已经落地...
2021-09-13 09:10:00
1169
3
原创 因果推断笔记——入门学习因果推断在智能营销、补贴的通用框架（十一）
废话文学一下：入门学习因果推断三周，总算是入了个门…来集结一下前十篇分别是：因果推断笔记——因果图建模之微软开源的dowhy（一）因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）因果推断笔记——python 倾向性匹配PSM实现示例（三）因果推断笔记——双重差分理论、假设、实践（四）因果推断笔记——因果图建模之微软开源的EconML（五）因果推断笔记——工具变量、内生性以及DeepIV（六）因果推断笔记——自整理因果推断理论解读（七.
2021-09-12 22:48:36
2757
原创 因果推断笔记——CV、机器人领域因果推断案例集锦（十）
之前一篇是写在数据科学领域使用因果推断的案例，因果推断笔记——数据科学领域因果推断案例集锦（九）主要应用的领域在：智能营销、一些机制干预的有效性、智能补贴等，那么可以看看在不常见领域的案例，拓宽一下视野。文章目录1 自治代理和多代理系统2 因果表征学习在CV领域的应用2.1 Visual Commonsense R-CNN——改造Loss2.2 Causal Intervention for Weakly-Supervised Semantic Segmentation1 自治代理和多代理系统参
2021-09-12 16:17:07
2935
原创 因果推断笔记——数据科学领域因果推断案例集锦（九）
2 腾讯看点：视频笔记2.1 观测数据 、 实验数据的理论介绍 / T-Learner2.3 X-Learner2.4 R-learner2.5 特殊meta学习：The Class Transformation Method参考文献1 uplift 模型介绍 —— 为个体计算ITE有多种方
2021-09-07 11:36:06
9785
原创 因果推断笔记——自整理因果推断理论解读（七）
之前有整理过一篇：因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）不过，那时候刚刚开始学，只能慢慢理解，所以这边通过一轮的学习再次整理一下手里的笔记。文章目录1 因果推断能做些啥1.1 因果推断三个层次1.2 从因果效应开始说1.2.1 TE/ATE/ATT/ATC/CATE 各类处理效应1.2.2 三个假定之 最难实现：无混淆性（Unconfoundedness ）1.2.3 三个假定之二：正值假设（Positivity）1.2.4 三个假定之
2021-09-05 23:45:26
6816
原创 因果推断笔记——工具变量、内生性以及DeepIV（六）
文章目录1 理论介绍1.1 Instrumental variable解释1.2 因果推断中：内生性的一个有意思的例子1.2 与代理变量（proxy variable）的对比1.3 连玉君老师的简易解读2 econML实现 DeepIV同系列可参考：因果推断笔记——因果图建模之微软开源的dowhy（一）因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）因果推断笔记——python 倾向性匹配PSM实现示例（三）因果推断笔记——双重差分理论、假
2021-08-31 18:58:26
15065
2
原创 因果推断笔记——因果图建模之微软开源的EconML（五）
微软EconML简介：基于机器学习的Heterogeneous Treatment Effects估计机器学习最大的promise之一是在许多领域实现决策的自动化。许多数据驱动的决策场景的核心问题是对heterogeneous treatment effects的估计，也即：对于具有特定特征集的样本，干预对输出结果的causal effect是什么？简言之，这个Python工具包旨在：测量某些干预变量T对结果变量Y的causal effect控制一组特征X和W，来衡量causal effect如
2021-08-25 14:08:44
12484
14
原创 因果推断笔记——双重差分理论、假设、实践（四）
文章目录1 双重差分 - difference-in-difference -DID 理论与假设1.1 DID介绍1.2 使用时需要满足的假设2 DID + PSM 差异与联用2.1 DID / PSM差异2.2 解决平行趋势假设：DID+PSM连用（最常用）3 三重差分（Difference-in-differences-in-differences, DDD）3 相关实现案例3.1 快手使用DID模型3.2 淘系用户增长注意点1 双重差分 - difference-in-difference -D
2021-08-24 16:20:55
12052
2
原创 因果推断笔记——python 倾向性匹配PSM实现示例（三）
因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）因果推断笔记——因果图建模之微软开源的dowhy（一）文章目录1 从matching -> 倾向性得分1.1 精准匹配1.2 倾向性得分 / 倾向评分匹配 由来1.3 精准匹配 -> 倾向评分匹配2 基于倾向性评分法的因果推断2.1 因果效应估计三种方法2.2 倾向性评分法的均衡性检验2.3 反驳3 倾向性得分案例解读一（无代码）：就业与收入的影响3.1 第一步:使用倾向性评分法
2021-08-24 15:51:44
24612
2
原创 因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）
文章目录1 一些因果推断涉及概念1.1 内生性问题1.1.1 内生性解释1.1.2 内生性问题有四种常见形式1.1.3 内生性的解决方案1.自然实验法2.双重差分法Difference-in-Difference （DID）3.工具变量法4. 动态面板回归法1.3 因果分析两个框架1.3.1 Rubin potential Outcome 虚拟事实模型1.3.2 Pearl causal Graph因果图1.3.3 两个框架之间的联系1.9 因果推断与回归的差异？1.0 额外：调节效应与中介效应2 pea
2021-08-22 21:37:28
14892
3
原创 因果推断笔记——因果图建模之微软开源的dowhy（一）
文章目录1 dowhy介绍1.1 dowhy的分析流程2 案例2.1 数据获取与整理2.2 如何简单证明变量之间的因果关系2.3 步骤一：因果图建模2.4 步骤二：识别2.5 步骤三：估计因果效应2.6 反驳结果2.7 与普通ML分类模型比较特征重要性1 dowhy介绍github地址：microsoft/dowhydowhy 文档：DoWhy | An end-to-end library for causal inference1.1 dowhy的分析流程参考材料：因果推断框架 DoWh
2021-08-22 17:21:25
9472
8
原创 生存分析——泊松回归(LightGBM)实现生存分析（四）
You can find the full article here来看一个比较特殊的Survival分析建模的案例,利用的是半参模型:Poisson Regression具体可以看文章:Survival Analysis with LightGBM plus Poisson Regressionhttps://towardsdatascience.com/survival-analysis-with-lightgbm-plus-poisson-regression-6b3cc897af821 Po
2021-08-13 14:22:24
4957
原创 决策树以及XGBoost 树分裂图的多种可视化工具盘点
之前有专门研究过，在各自的文中，这里进行罗列：文章目录1 pydotplus安装2 XGBoost画出分裂图3 决策树画出分裂图1 pydotplus安装文档：PyDotPlus Homepage如果要画出决策树图，一般需要该库，需要先下载：http://www.graphviz.org/download/然后记住下载的路径，pip install pydotplus就可以按下面使用了：import osos.environ["PATH"] += os.pathsep + 'C:\
2021-07-30 18:17:37
7066
原创 评分卡应用 - 利用Toad进行有监督分箱（卡方分箱/决策树分箱）
toad是针对工业届建模而开发的工具包，针对风险评分卡的建模有针对性的功能。toad持续更新优化中，本教程针对toad的各类主要功能进行介绍，包括：EDA相关功能如何使用toad高效分箱并进行特征筛选WOE转化逐步回归特征筛选模型检验和评判标准评分卡转化和输出其他功能中文教程：toad使用教程文章目录1 Toad — EDA 工具2 变量的iv值 —— quality2.1 IV值解读2.2 toad.quality3 如何使用toad高效分箱并进行特征筛选4 toad分箱5 观
2021-07-30 17:57:03
9255
3
原创 生存分析——跟着lifelines学生存分析建模（三）
文章目录数据分析系列：生存分析（生存曲线分析、Cox回归分析）——附生存分析python代码。数据分析系列：归因分析原理、案例（附python代码）lifelines
2021-07-26 18:38:17
5243
1
原创 生存分析——KM生存曲线、hazard比例、PH假定检验、非比例风险模型（分层/时变/参数模型）（二）
文章目录1 数据类型1.1 删失数据1.1.1 右删失1.1.2 左删失1.1.3 区间删失1.2 完全数据（Complete data）2 生存分析几个核心概念2.1 生存概率2.2 风险概率2.3 生存/风险函数 两者之间关系2.4 其他生存时间相关概念3 Kaplan-Meier 生存概率估计3.1 寿命表（ life table）3.2 Kaplan–Meier 方法3.3 KM组别差异的指标一：中位生存时间3.4 KM组别差异的指标二：Logrank /Breslow4 Cox 比例风险回归模型
2021-07-22 18:59:18
21951
1
原创 简单实践GraphEmbedding图嵌入的几种方法
参考：详解Graph Embedding经典方法：算法原理、代码实现与应用样例Graph Embedding 图表示学习的原理及应用代码参考：https://github.com/shenweichen/GraphEmbedding本篇简单测试一下该库文章目录1 Graph Embedding 几种常见方法1.1 DeepWalk1.2 LINE1.3 nodo2vec1.4 SDNE1.5 Struc2Vec2 实验代码1 Graph Embedding 几种常见方法Mod
2021-07-14 18:41:28
1997
原创 生存分析——快手的基于深度学习框架的集成⽣存分析软件KwaiSurvival（一）
看到快手这篇文章，还开源了他们的KwaiSurvival，上手试了试：KwaiSurvival 是快⼿DA⾃主开发的基于深度学习框架的集成⽣存分析软件，帮助使⽤者在Python编程环境下⾼效地使⽤⽣存分析模型实现⼤规模的数据分析地址：https://github.com/kwaiDA/KwaiSurvival本篇主要是今天简单测试了之后的一些笔记记录，不知道他们组内的小伙伴看到这篇，会不会打我。。我是觉得他们给的代码应该是实验版，有点粗糙啊。。文章目录1 报告中的亮点1.1 活跃度的概.
2021-07-09 18:13:01
3313
1
转载 用户增长——Cohort Analysis 留存分析（三）
转载于:Cohort Analysis：用户在哪一步离开了我们的产品？数据是会骗人的，尤其是平均数据（真实世界会有用户每个月下单2.5次吗？很可能是两个分别下单1次和4次的客户而已），一个中等的平均的用户画像其实完全是用数据创造出来的虚幻的形象。而一个漂亮的平均数所创造出来的这种虚幻景象，往往会给我们的决策造成误导。但是事实上，数据并不会说谎，只是分析数据的人没有做到精准分析而导致对数据呈现的错误解读！因此，Cohort Analysis的分析方法应运而生。文章目录一、什么是Cohort Analys
2021-07-09 11:00:37
5194
3
原创 多渠道归因分析（Attribution）：用attention-RNN来做归因建模（附代码demo）（五）
论文可参考18年的一篇：Deep Neural Net with Attention for Multi-channel Multi-touch Attribution官方：channel-attribution-model我把可以跑通demo代码放在自己的github之中：mattzheng/Attention-RNN-Multi-Touch-Attribution一种基于注意力的循环神经网络多点触摸归因模型，以监督学习的方式预测一系列事件是否导致转换(购买)。模型可以输出不同节点的重要性（LS
2021-07-05 23:50:37
3202
2
原创 用户行为分析模型——路径分析（一）
在网页或者营销渠道中，用户行为模型有比较多，基于渠道的，笔者觉得有：渠道类型渠道重要性渠道跳转与流失单渠道，多节点路径分析，漏斗功能多渠道归因分析这里多渠道指的是，单渠道多节点的场景比较好理解，就是进入某个web \ 小程序，在不同页面之间进行跳转，多渠道这里比较多的就是，同一用户在不同的较大的场景下的流转，比如在小红书种草 -> 微信好友推荐 -> 淘宝上买了。归因分析是通过一定的逻辑方法，计算每个渠道、或者触点对最终结果贡献程度的方法。有一套合理
2021-07-01 18:20:52
3916
3
原创 pyecharts实现多节点、长路径的sankey桑基图
1 画桑基图一个容易出错的细节pyecharts︱交互式pyecharts的相关使用教程简单的用pyecharts实现超多节点、较长路径的桑基图，一个样图：起先拿网络教程里的数据跑的时候没有任何问题，然后用自己的数据，就一直显示空白，内有内容显示，找了很久问题，发现了一个很多网上教程都没有说的点，需要用pyecharts划超多节点的话，一定需要留意：举例来说，这个简单的桑基图，如果你的数据里面出现了category6 -> category2这种逆流向的，大概率会显示空白，所以这里可以
2021-06-26 17:27:31
4770
2
原创 预算分配Budget Allocation：两篇论文（二）
1 达摩院：A Unified Framework for Marketing Budget AllocationA Unified Framework for Marketing Budget Allocation参考解读文章：A Unified Framework for Marketing Budget Allocation1.1 通用预算分配框架这篇paper总结的蛮给力的，一个预算分配的通用框架，包括两个步骤，首先通过历史数据去学习需求曲线，也可称为市场响应模型（market resp
2021-06-09 11:20:04
5392
Rstudio Server + Docker + tensorflowR的dockerfile文件
2018-09-28
word2vec自编译函数（By Jian Li,2014-09-21）
2016-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人