＜因果科学与统计推断＞课程学习笔记

已于 2024-04-07 22:25:01 修改
阅读量925 收藏 6
点赞数 24
文章标签： 学习
于 2024-04-07 22:20:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lalalal0/article/details/136213195
版权

目录

01因果科学

02潜在因果模型

结构因果模型

潜在因果模型:

反事实框架:

反事实框架下的实验设计:

03参数估计

统计推断

点估计

区间估计

置信度与置信区间

04假设检验

零假设与备择假设

第一类错误和第二类错误

显著性检验与置信度

显著性检验万能统计值--P值

假设检验map图

01因果科学

劳得悖论:

  • 属于统计推断的问题,在学校食堂吃饭对男女生体重影响--问题界定不清晰,没有对照组

休谟的因果二重性:

  • 因果不是纯粹的观念,因果关系不是凭空捏造的,我们通过经验观察来认识因果;
  • 因果也不是纯粹的事实,能观察的只有事件与事件之间的恒常性,无法观察到真正的因果事实

02潜在因果模型

结构因果模型

三个层级水平:(应用人机交互)

  • 关联(相关)seeing:A变化了,B也变化了
  • 干预doing:做了什么,结果会不会发生变化
  • 反事实Imagining:做了这个事情和没做这个事情,结果是否有差异

潜在因果模型:

比较同个研究对象在接受干预和不接受干预的结果差异,这一结果差异是接受干预相对与不接受干预的效果(第三层次);

公式:个体干预效应 = 研究对象A_接受干预结果 - 研究对象A_不接受干预结果

遇到瓶颈:任何干预对于同个研究对象只能观测到一种结果,从而失去与潜在结果(反事实)直接比较的可能

反事实框架:

人不能两次踏进同一条河流:

  • 对于接受干预的对象,不接受干预时的状态是反事实状态;
  • 对于不接受干预的对象,接受干预时的状态是反事实状态;

反事实框架下的实验设计:

ATE的含义与随机实验

从个体因果效应到群体因果效应

公式:平均干预效应 = 研究对象群体A_接受干预结果的期望值 - 研究对象群体A_不接受干预结果的期望值

公式:平均干预效应 =

对于实验组干预群体 [ 当初对他们干预(用药)的期望结果 - 当初对他们不干预(不用药)的期望结果 ]

+ 对于对照组不干预群体 [ 当初对他们干预(用药)的期望结果 - 当初对他们不干预(不用药)的期望结果 ]

随机分流保证了,即对全部组别的用药与否是完全随机的,对于𝒀𝟏和 𝒀𝟎任意一个组别结果,和用药(X)这个变量(是实验组还是对照组)是完全独立的,即对于某用户A来说,用药结果和不用药结果,不会因为分在实验组还是对照组而改变

03参数估计

统计推断

统计推断很大程度是在解决一个用样本推断总体的过程,

点估计

  • 不考虑抽样误差,直接以抽样指标估计全体指标的一种推断方法
  • 点估计的瓶颈:因为个别样本的抽样指标不等于全体指标,所以用样本指标直接代替全体指标,不可避免有误差

区间估计

  • 更科学的区间估计:抽样推断中,根据抽样指标和抽样误差去估计全体指标的可能范围的一种推断方法
  • 在从抽样指标推断全体指标时,用一定概率保证误差不超出某一给定范围

置信度与置信区间

置信区间:是一个区间,在某一置信度下,以测量值为中心,真值出现的范围

置信度:是一种概率,以测量值为中心,在一定范围内,真值出现在该范围内的几率

置信区间越小精度越高,置信区间越大虽然置信度越高,但精度太低,毫无意义

04假设检验

统计学是描述性统计和推断统计组成的.

含义:一种统计推断方法

目的:解决样本与样本,样本与总体的差异是由抽样误差还是本质差别造成的

零假设与备择假设

  • 零假设和备择假设加在一起一定是整体,非此即彼
  • 希望证明其错就是零假设,希望证明其对的是备择假设

第一类错误和第二类错误

  • 2个维度:实际的True和False;实验结论拒绝和接受
  • 第一类错误:实际表现实验没有效果(H0成立),却判断为有显著效果的概率 （拒绝了H0）,如:上线了一个不好的产品
  • 第二类错误:实际实验有效果（H0不成立），但被判断为无效果的概率（接受了H0）,如:砍掉了一个好的产品

显著性检验与置信度

显著性检验万能统计值--P值

  • 含义：当原假设（H0）为真时，所得到得样本观察结果或更极端结果出现的概率
  • 手工计算：绝对值指标计算T统计量,比率指标计算Z统计量，结合样本量进行查表得到P值
  • 局限性：当样本重复足够多次数，即重复相同实验次数比较多时，显著性结果出现的概率很大

假设检验map图

假设检验通过excel来实现

lalalal0
关注
因果推断英文书单整理及简介
爱数据爱统计
11-12 2598
因果推断书单整理及简介@TOC 1.Causal inference for statistics, social, and biomedical sciences : an introduction[2015] Causal inference for statistics, social, and biomedical sciences : an introduction / Guido W. Imbens & Donald B. Rubin 1.1 简介 社会和生物医学科学中的大多数问题本质上
零样本学习 (Zero-Shot Learning)：突破传统机器学习的界限
程序员光剑
06-30 79
在传统的机器学习范式中，模型的训练和测试通常基于同一分布的数据集。这种方法要求训练数据包含所有可能的类别，并且每个类别都有足够多的样本。然而，在现实世界中，我们经常面临需要识别或分类全新类别的情况，这些类别在训练数据中可能完全没有出现过。这就引出了一个关键问题：如何使机器学习模型能够识别和理解它从未见过的类别？零样本学习（Zero-Shot Learning，简称ZSL）正是为了解决这一挑战而提出的。它旨在训练一个能够识别未知类别的模型，即使在训练过程中没有见过这些类别的任何样本。
【因果推断的统计方法】综述与个人理解
王斯的博客
08-03 883
因果关系定义 首先探求事物之间的因果关系是各个领域研究的[终极奥义] Democritus 德谟克里特：发现一个因果关系胜于做国王 Bacon 培根：知识就是力量，真正的知识是根据因果关系得到的知识。 随着人类的发展历史进程的推进，因果关系及其方法论的研究得到不断加深！ 那么问题来了： 1.因果关系和相关关系有何区别和联系？ 2.如何根据观测和实验来确定事物间的因果关系？ 问题1:因果关系和相关关系有何区别和联系？ 从区别来讲：这两者之间没有关系，属于不同的概念，两个变量有相关关系也可能没有因果关系，两变
【经典书】统计学中的因果推断
数据派THU
06-15 591
来源：专知 本文为书籍介绍，建议阅读5分钟 本文为你介绍统计学中的因果推断。Causal Inference in Statistics: A Primer一书的分享解读主要被分为四个部分：第一部分：从宏观角度分析了因果科学的研究意义，巩固了统计学的基础知识，包括变量、概率、条件概率、独立性、全概率公式、贝叶斯法则、多元回归等等，最后初步介绍了结构因果模型的相关概念。第二...
耿直：统计学中的因果推断问题（Causal Inference）
数据派THU
09-11 6205
来源：量化研究方法本文约3000字，建议阅读5分钟。数学科学学院耿直老师为你介绍统计学中的因果推断问题。今天，小编带来了数学科学学院耿直老师关于统计学中因果推断问题的介绍。文中介绍了几种...
因果推断——简介
热门推荐
机器学习，大数据
10-28 3万+
1. 因果推断是什么？ 1.1 因果性与相关性 事件/变量之间的关系，最主要的有相关性和因果性。 相关性是指在观测到的数据分布中，X与Y相关，如果我们观测到X的分布，就可以推断出Y的分布 因果性是指在操作/改变X后，Y随着这种操作/改变也变化，则说明X是Y的因cause 在常用的机器学习算法中，关注的是特征之间的相关性，而无法去识别特征之间的因果性，而很多时候在做决策与判断的时候，我们需要的是...
CDA level1 学习笔记（已通过考试）
Sunshinetongtong的博客
10-30 733
2023年10月28日已顺利通过一级考试！用时一个月，利用下班休息时间看书、看视频、刷题。题型：单选、多选、内容相关、案例分析 两小时 60分过CDA教程学习笔记数据分析是利用数据来理性思考和决策的过程。数据分析：是以数据为分析对象，以探索数据内的有用信息为主要途径，以解决业务需要为重要目标。数据挖掘：是一个跨学科的计算机科学分支，它是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现的模式的经计算过程。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
程序员光剑
07-04 1415
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
大语言模型原理基础与前沿 双层路由多模态融合、多任务学习和模块化架构
AI架构设计之禅
07-17 592
大语言模型（Large Language Models，LLMs）已经成为人工智能和自然语言处理领域的重要研究方向。随着GPT-3、BERT等模型的出现，大语言模型在各种任务中展现出了惊人的性能。然而，随着模型规模的不断扩大和应用场景的日益复杂，传统的大语言模型架构面临着诸多挑战。为了应对这些挑战，研究人员提出了一系列创新性的解决方案，其中包括双层路由多模态融合、多任务学习和模块化架构等前沿技术。本文将深入探讨这些前沿技术的原理、实现方法以及应用前景，旨在为读者提供一个全面而深入的大语言模型技术发展概览。
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 769
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
Redis 入门 - 五大基础类型及其指令学习
IT规划师
09-11 418
学习Redis基础类型：字符串、集合、有序集合、列表、哈希，每种类型有各自的特点和常用指令。掌握这些基础是熟练使用Redis的关键。更多指令需自行尝试。
计算几何学习
网安小白
09-12 300
学习计算几何过程中对经典算法的记录
【学习笔记】SSL密码套件之哈希
最新发布
Taki_UP的博客
09-12 704
本篇介绍了TLS/SSL密码套件中常用的哈希算法，包括Poly1305、SHA384、SHA256、SHA、MD5
sheng的学习笔记-AI-规则学习（rule learning）
coldstarry的专栏
09-09 1066
机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。​“规则学习”(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如：在数理逻辑中“文字”专指原子公式(atom)及其否定。与神经网络、支持向量机这样的“黑箱模型”相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。
AdaBoost算法（AdbBoost Algorithm）—有监督学习方法、非概率模型、判别模型、非线性模型、非参数化模型、批量学习
nanxiaotao的博客
09-11 720
AdaBoost算法（AdbBoost Algorithm）—有监督学习方法、非概率模型、判别模型、非线性模型、非参数化模型、批量学习
Android Fragment 学习备忘
sdaujz的博客
09-08 400
1.fragment的动态添加与管理：
【学习笔记】SSL证书之前向保密
Taki_UP的博客
09-10 659
本篇介绍了密码学中前向保密（Forward Secrecy）的相关内容
IIC基本学习
????????????????????????????????????????????????
09-11 180
对IIC通信协议补充了基本的了解，在进行相关的工程实践后再进行补充。
因果推断与机器学习 pdf
05-31
这本书深入浅出地介绍了因果推断的理论和应用，并探讨了它与机器学习的关系。 - 机器学习课程中的因果推断章节。许多机器学习课程都包含关于因果推断的章节，例如斯坦福大学的 CS229 课程和台湾大学的机器学习基石...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值