机器学习之概率论

概率论

处理不确定性或随机数据，借助概率论概率分布来描述随机变量或一组随机变量在每一个可能取得的状态可能性大小，随机变量的概率分布可以用离散型函数或连续函数表示。

①条件概率
某个事件在其他事件发生情况下出现的概率。
给定x=X时，y=Y发生的条件概率P(y=Y|x=X)：
P(y=Y|x=X)=P(y=Y,x=X) / P(x=X)

②条件概率的链式法则
多维随机变量的联合概率分布，分解成只有一个变量的条件概率相乘的形式。
P(a,b,c)=P(a|b,c)*P(b,c)
P(b,c)=P(b|c)*P©
P(a,b,c)=P(a|b,c)*P(b|c)*P©

期望

函数f(x)对于某分布P(x)的期望：
离散型：

连续型：

线性：

方差

权衡x在给定概率分布中的差异。
方差的平方根成为标准差。
当方差很小时，f(x)接近函数的期望

常见的概率分布：

①Bernoulli分布
二值分布

②高斯分布
正态分布

③指数分布

贝叶斯公式：