机器学习数学基础初步回忆

机器学习数学回忆

@(机器学习)[机器学习数学回忆]

• 条件概率

设A，B 是两个事件，且P(A)>0,称 P(B|A) = ($ \frac {P(AB)} {P(A)} $) 为在事件A发生的条件下B事件发生的概率

• 全概率公式

设实验E的样本空间为S，$A$为E的事件，$ B_1 $ ,$ B_2 $ ,$ B_3 $ $ B_4,…, $ $ B_n $ 为S的一个划分，且P($B_i$)>0($i$=1,2,…),则
P($A$) = P($A|B_1$)P($B_1$)+P($A|B_2$)P($B_2$)+…+P($A|B_n$)P($B_n$) =$ \sum_{i=1}^nP(A|B_i)P(B_i),i=1,2,…,n $
称为全概率公式

• 贝叶斯公式

设$E$ 的样本空间为$S$。$A$为 的事件，$B_1$,$B_2$,$B_3$,…,$B_n$为$S$ 的一个划分，且P($A$) >0,P($B_i$)>0($i$=1,2,…,n)则
$P$($B_i$|$A$) = $ \frac {P(A|B_i)P(B_i)} {\sum_{j=1}^n P(A|B_j)P(B_j)} $,$i=1,2,…,n$ 称为贝叶斯公式
$P(B_i)$为先验概率 $P(A|B_i)$为条件概率 $P(B_i|A)$为后验概率 ：表示事件A发生了并且属于$B_i$ 类的概率。
如:
在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？
从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。
设$B_1$=男生，$B_2$=女生 $X$=穿拖鞋
先验概率:$P(B_1)=\frac{2}{3}$ $P(B_2)=\frac{1}{3}$
条件概率:男生穿拖鞋概率:$P(X|B_1)=\frac{1}{2}$ 女生穿拖鞋的概率:$P(X|B_2)=\frac{2}{3}$
则全概率穿拖鞋的概率:$P(X)=P(X|B_1)\ast P(B_1)+P(X|B_2)\ast P(B_2)=\frac{1}{2}\ast \frac{2}{3}+\frac{2}{3}\ast \frac{1}{3}=\frac{5}{9}$
贝叶斯：
穿拖鞋的是男生的概率：$P(B_1|X)=\frac{P(X|B_1)P(B_1)}{P(X)}=\frac{3}{5}$
穿拖鞋的是女生的概率：$P(B_2|X)=\frac{P(X|B_2)P(B_2)}{P(X)}=\frac{2}{5}$
及在有一个人穿拖鞋的情况下是男生的概率更大
例子来源

• 最大似然估计

最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值
最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
$$D=x_1,x_2,...,x_n$$
似然函数（linkehood function）：联合概率密度函数$P(D|\theta )$称为相对于$x_1,x_2,...,x_n$的$\theta$的似然函数。
$$l(\theta )=p(D|\theta )=p(x_1,x_2,...x_n|\theta )=\prod _{i=1}^{N}p(x_i|\theta )$$
如果$\hat{\theta }$是参数空间中能使似然函数$l(\theta )$最大的$\theta$值，则$\hat{\theta }$应该是最有可能的参数值，那么$\hat{\theta }$就是$\theta$的极大似然估计量。它是样本集的函数，记作:
$$\hat{\theta }=d{x}_1,x_2,...,x_n=d(D)$$
$$\hat{\theta }(x_1,x_2,...,x_n)称为及大自然函数估计值$$

• 求解极大似然函数

ML估计：求使得出现该组样本的概率最大的θ值。
$$\hat{\theta }=arg\underset{\theta }{\underbrace{max}}\prod _{i=1}^{N}P(x_i|\theta )$$
为了方便计算取对数
$$H(\theta )=lnl(\theta )$$
$$\widehat{(}\theta )=arg\underset{\theta }{\underbrace{max}}H(\theta )=arg\underset{\theta }{\underbrace{max}}lnl(\theta )=arg\underset{\theta }{\underbrace{max}}\sum _{i=1}^{N}lnP(x_i|\theta )$$
1.未知数只有一个($\theta$为标量)
在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：
$$\frac{dl(\theta )}{d\theta }=0或者\frac{dH(\theta )}{d\theta }=\frac{dlnl(\theta )}{d\theta }=0$$
2.未知数有多个($\theta$为向量)
则θ可表示为具有S个分量的未知向量：
$$\theta =[{\theta }_1,{\theta }_2,{\theta }_3,...,{\theta }_s{]}^T$$
记梯度算子:
$${\Delta }_{\theta }=[\frac{\sigma }{\sigma {\theta }_1},\frac{\sigma }{\sigma {\theta }_2},...,\frac{\sigma }{\sigma {\theta }_s}{]}^T$$
若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。
$${\Delta }_{\theta }H(\theta )={\Delta }_{\theta }\ln l(\theta )=\sum _{i=1}^N{\Delta }_{\theta }\ln P(x_i|\theta )=0$$
方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。
参考

• 例子：抽球举个通俗的例子：

假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率(联合密度)如下：
$f(X_1,X_2|\theta )=f(X_1|\theta )\ast f(X_2|\theta )$ 其中 $\theta$是未知的，因此，我们定义似然$L$为:
$$L(\theta |X_1,X_2)=f(X_1,X_2|\theta )=\prod _{i=1}^{2}f(X_i|\theta )$$
为计算方便两边取对数，也叫对数似然:
$$lnL(\theta |X_1,X_2)=lnf(X_1,X_2|\theta )=ln\prod _{i=1}^{2}f(X_i|\theta )=ln\sum _{i=1}^{2}f(X_i|\theta )=\sum _{i=1}^{2}lnf(X_i|\theta )$$
$ln(A\ast B)=lnA+lnB$
平均似然为($l_a$):
$$l_a=\frac{1}{2}lnL(\theta |X_1,X_2)=\frac{1}{2}lnf(X_1,X_2|\theta )=\frac{1}{2}ln\prod _{i=1}^{2}f(X_i|\theta )$$
最大似然估计的过程，就是找一个合适的$\theta$，使得平均对数似然的值为最大。因此，可以得到以下公式(最大似然估计${\theta }_m$)：
$${\theta }_m=argmax{l}_a(\theta |X_1,X_2)$$
这里讨论的是2次采样的情况，当然也可以拓展到多次采样的情况：
$${\theta }_m=argmax{l}_a(\theta |X_1,X_2),...X_n$$
我们定义M为模型（也就是之前公式中的f），表示抽到白球的概率为$\theta$，而抽到红球的概率为(1-$\theta$)，因此10次抽取抽到白球7次的概率可以表示为：
$P(X_1,X_2,...X_n|M)=P(X_1|M)\ast P(X_2|M)\ast ...\ast P(X_{10}|M)={\theta }^7(1-\theta {)}^3$
将其描述为平均似然可得$l_a$：
$$l_a=\frac{1}{10}lnP(X_1,X_2,...,X_{10}|M)=\frac{1}{10}ln[{\theta }^7(1-\theta {)}^3]$$
那么最大似然就是找到一个合适的$\theta$，获得最大的平均似然。因此我们可以对平均似然的公式对$\theta$求导，并另导数为0。
$$l_a^{/}(\theta )=7{\theta }^6(1-\theta {)}^3-3{\theta }^7(1-\theta {)}^2=0\Rightarrow \theta =0.7$$
例子来源

• 高斯分布

正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian distribution），是一个非常常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。
$$X-N(\mu ,{\sigma }^2)$$,则其概率密度函数为
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
正态分布的数学期望值或期望值$\mu$等于位置参数，决定了分布的位置；其方差${\sigma }^2$的开平方或标准差$\sigma$等于尺度参数，决定了分布的幅度
正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准正态分布是位置参数$\mu =0$，尺度参数${\sigma }^2=1$的正态分布。
$为了理解记下笔记$