机器学习笔记（一）概率论基础

概率论是研究随机现象数量规律的一门学科，其实我感觉还是比较有意思的。比如这样的一个小问题，已知一个家庭有两个小孩，其中一个孩子是女孩，请问另外一个孩子还是女孩的概率是多大？我问过身边的几个人，很多人的第一反应都是1/2，但真的是这样吗？我们仔细想一下，一个家庭有两个孩子，那么男男，男女，女男，女女的可能性都是1/4，现在又已知其中一个孩子是女孩，那么只剩下后面三种可能性，另外一个孩子还是女孩的概率是不是1/3呢，哈哈，很有道理吧。其实还有很多概率论上的东西会与我们的常识不太符合，但这正是它的魅力所在啊。最近听了一门机器学习的课，就在这里写写自己的学习总结吧，这一篇是关于概率论的基础知识。

• 基础概念

1. 概率P，其值域为[0,1]，对于离散/连续变量而言，P(x=x0)分别表示x0发生的概率和概率密度。这里有个有意思的地方，如果概率为0，事件一定不不发生吗？直观感觉是这样，但事实并不是。对于离散变量这个结论是成立的，而对于连续变量，其单一点的测度无法衡量为0，就会出现概率为0但仍有可能发生的情况，比如[0,1]上的均匀分布，P(x=0.5)的概率为0，但你能说就永远取不到0.5吗？
2. 累计分布函数φ=P(x<=x0)，其值域依然是[0,1]。由于概率始终非负，所以其累加函数肯定是单调递增的。这里我们来思考一个问题，什么样的函数可以作为累计分布函数呢？要满足条件，值域[0,1]，单调递增就可以，这样的函数一定对应着某一种分布，如果该函数还可导的话，其导数为概率密度函数。
3. 期望，事件与概率的加权均值。对于离散变量而言，对于连续变量而言，。期望有着一下这些属性，,,若X,Y独立则有。
4. 方差，用以描述随机变量与数学期望之间的偏离程度，定义为，因为方差总大于0，所以平方的期望总大于期望的平方。方差有如下的属性，对常数c，，,，若X,Y独立则有。
5. 协方差，用于衡量两个变量的整体误差，定义为。协方差具有如下这些属性，,,,。所以当X,Y独立时，有协方差为0，但反过来，协方差为0，我们只能说两个变量不相关。
6. Pearson相关系数。首先协方差有个属性，其证明可以通过构造变量，然后求其平方的期望，根据该期望恒大于等于0证得。这里定义Pearson相关系数为。

• 常见分布

1. 两点分布。,根据定义可以计算出。
2. 二项分布。相当于两点分布独立进行了n次，因此得到。
3. 泊松分布。概率函数，根据定义可以计算出。泊松分布通常用于当一个随机事件以固定的平均速率随机独立出现，那么单位时间内出现的次数近似服从泊松分布。
4. 均匀分布。这非常好理解，在指定的区域其概率密度相等，对于区间[a,b]的均匀分布，其期望和方差分别是。
5. 指数分布。概率密度函数,连续分布用积分分别算X和X平方的期望，进而得到指数分布的期望和方差。指数分布有一个非常有意思的特性就是无记忆性，只要积分区间的差值一样其概率即积分值总是相等的。
6. 正态分布。概率密度函数。这大概是最最最常见的一种分布了，其期望和方差就是它的两个参数。
7. Beta分布。要介绍Beta分布就要先介绍Gamma函数，Gamma函数是阶乘在是实数域的推广，有。然后对于Beta函数，其概率密度函数为，其中X属于[0,1]，其期望的计算可以化为两个Gamma函数相除，最后有。

• 写在最后

本来是想把这些期望，方差的计算过程都写出来，但CSDN写博客不支持公式的编辑，每写一个还得去转成图片贴过来，实在是太繁琐了，累觉不爱所以就简单地写下这几种常见的分布及其期望和方差的值。其实推导也不难，两点分布就不用说了，二项分布主要用到了二项式的展开，指数分布则是分布积分，而正态分布则用到了换元和，Beta分布主要是Gamma函数。

我天，本来都准备结束了，突然想到漏了一个特别特别重要的东西……果然是脑子瓦特了

条件概率公式

全概率公式

基于以上两个公式可以推导出一个应用十分十分十分广泛的东西，贝叶斯公式

全概率公式意义：一件事情A可以由很多事情引起，那么这件A发生的概率等于每件事情发生的概率乘以每件事情导致A发生的概率。

贝叶斯公式：同样，A可以由很多事情引起，已经知道A发生了，那么导致A发生的每件事情的概率可以用贝叶斯公式算出。

好了，就这样吧，下次接着写。