王木头老师的概率、统计、信息论课程知识整理笔记

文章探讨了用数学描述不确定性的问题,从最初的迭代式发展,逐步引入概率论的核心概念,如事件、概率空间、随机变量、累积分布函数和概率密度函数。通过随机变量转换,将复杂的概率空间简化,讨论了边缘概率、条件概率以及统计学中的大数定律和中心极限定理。文章还触及信息熵和信息论,强调了数学理解概率的重要性。
摘要由CSDN通过智能技术生成

课程链接🔗:https://www.bilibili.com/video/BV1vv4y1B714/?buvid=XY59A4353C6C047DC92698A0C0CAD8E3DE68C&is_story_h5=false&mid=SyYHtHRRJ0IEuWSbNvMuiQ%3D%3D&p=1&share_from=ugc&share_medium=android&share_plat=android&share_session_id=6f0c6606-11aa-41d7-83cc-417250fd1873&share_source=WEIXIN_MONMENT&share_tag=s_i&timestamp=1672760403&unique_k=bnVAkVc&up_id=504715181

迭代式

总论:

问题:用数学的方式,对不确定性/可能性进行描述。

V1.0

存在问题:只解决了数学符号化,并没有解决数学化本身。数学化要尽可能的简约【奥卡姆剃刀原理:如非必要物增实体】

不需要单独定义事件c,可以由事件a、b表示。

V2.0

存在问题:原子事件无法描述连续性问题【无穷小事件可能性为0】

V3.0

名次解释?!bushi   幂集P(R)指原集合中所有的子集(包括全集和空集)构成的集族。

或者改为-域(更好)因为域是一个更小的概念【无穷大的集合无法被归一要排除这种情况】

群:一个集合对二元运算封闭,且有单位元、逆元,满足结合律

阿贝尔群:满足交换律的群

环:阿贝尔群+乘法

域:若逆运算也封闭,则称为域or代数,相当于对除法也封闭了。

定义是累积分布函数,下边就是概率密度函数,S为样本空间。

累积分布函数的好处:无论离散还是连续,累积分布函数的意义都是相同的。

通过随机变量可以把上面的概率空间等价变成下面的概率空间,此时样本空间里为实数(离散情况无需额外区分)

细分架构:

其中最底层(第一层地基)

密度:概率空间中一个点的权重值

质量:概率空间中一个或多个线段的权重值

第二层:将增加权重的思想升级到了多维

二维空间密度函数相当于在二维中定义了一个场:每个点的密度函数为空间中的权重值/质量值。

将多维空间中每个点都描述清楚的函数——联合概率密度函数(联合:可以在高维考虑低维情况;其中边缘概率和条件概率为不同的降维方式)

  1. 边缘概率

将二维空间的质量沿着x2轴压扁了

  1. 条件概率

将x2=a直线单独拿出来作为新的一维空间,但其整体质量不归一(<1)对权重等比放大。

其中分母为x2的边缘概率在a点的取值(<1)于是等比例放大

概率空间出现这么多新的东西本质上在于对P的描述。P中蕴含的信息不同导致概率空间的不同,若没有P则他们为普普通通的实数空间。

描述P:

  1. P的无损描述——概率论

不同随机变量之间通过函数变换的方式进行相互表示,此时“=”表示等价

可知Y的累积函数,P中的信息都可表示出来了。

从简单——>复杂概率空间

换元的本质就是坐标变换(旋转、拉伸——拉伸的比例就是雅可比行列式,可以从微分换元中看出)

最后得到了卷积公式。

  1. P的参数特征——数理统计

统计学:如何利用概率空间这个工具去帮助分析现实中的问题

归纳分析1:现实问题属于哪个分布

归纳分析2:具体参数取值

*确定参数就可以确定分布函数

统计量:通过抽样样本构建出来的,没有包含任何未知参数的新随机变量(比如Y、Xbar)

大数定律:抽样的样本数量越多,X bar随机变量的质量越会集中在期望值附近。(但期望值不变)

中心极限定理:若原本的概率空间存在期望和方差,不论原来概率空间分布是什么样的,只要n的数量够大,X bar这个随机变量的分布会接近一个正态分布。

经济学统计量:幂律分布是有可能没有期望的,因此用均值效果不好,应使用中位数进行评估。

*知道分布的类型

似然函数

法1:对概率分布通过拟合+最大似然估计去进行研究

法2:看作正态分布密度函数的叠加(复杂概率分布拆分为简单的)

  1. P的整体特征——信息论

离散——信息熵;连续——微分熵

p(x)计算出的熵仅仅体现形状特征,和位置特征没有关系【体现P的整体特征】

log计算——把乘法换成加法(加法问题更容易用图像表示)

将概率以数学的角度去理解而不是以生活的角度,因为生活与数学有时候是不相匹配的。(比如概率为1与必然事件并不相同)

感谢老师分享,收获颇丰~也感谢大家的阅读~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值