第二周【任务2】贝叶斯估计，估计、偏差和方差，逻辑回归

任务名称：贝叶斯估计，估计、偏差和方差，逻辑回归

任务简介：学习花书5.5-5.7.1章，观看讲解视频(1.估计、偏差和方差 2.贝叶斯估计 3.逻辑回归)

任务详解：

1. 贝叶斯公式，另外一种参数估计方法贝叶斯估计，以及应用

2. 逻辑回归做二分类

打卡要求：（不少于20字，不少于2张图片）

a. 掌握贝叶斯公式，理解贝叶斯估计，完成浙大概率论p19例7（需打卡提交截图）

b. 说出贝叶斯估计与极大似然估计的最本质的不同点，以及各自的优缺点（需提交文字）

c. 独立手推逻辑回归（需提交截图）

1. 掌握贝叶斯公式，理解贝叶斯估计，完成浙大概率论p19例7（需打卡提交截图）

题目：对以往数据分析结果表明，当机器调整良好时，产品的合格率为98%,而当机器发生故障时，其合格率为55%。每天早上机器开动时，机器调整良好的概率为95%。试求已知某日早上第一件产品是合格品时，机器调整良好的概率是多少？

设“产品合格”为事件A，“机器调整良好”为事件B，因此所求事件的概率为:
$$P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A\mid B)P(B)+P(A\mid \bar{B})P(\bar{B})}=\frac{0.98\times 0.95}{0.98\times 0.95+0.55\times 0.05}=0.97216$$
这里的概率$P(B)$是根据以往的数据分析得到的，因此叫做先验概率，而在得到信息（第一件产品是合格品）之后再重新加以修正的概率$P(B\mid A)$就叫后验概率。

【从本质上说，贝叶斯公式就是由果推因，from result to reason 】

2. 说出贝叶斯估计与极大似然估计的最本质的不同点，以及各自的优缺点

贝叶斯估计和极大似然估计是统计中两种对模型的参数确定的方法，前者来自贝叶斯学派，后者来自概率主义学派。

概率注意学派认为参数虽然未知，但是确实客观存在的固定值，可以通过优化似然函数等准则来确定参数值，也就是使似然函数最大的参数$\theta$就是最好的$\theta$。 因此先把各个样本的概率综合再求导。

数学表达为：
$$\underset{\theta }{\mathrm{argmax}}P(X\mid \theta )$$
因此任务就是利用训练集$D$估计参数$\theta$，直接建模。这也就是判别式模型。

贝叶斯学派认为参数是未观察到的随机变量，其本身也有分布，因此可假定参数服从一个先验分布$P(\theta )$，然后基于观测到的数据来计算参数的后验分布。因此认为使$P(\mathbf{X}\mid \theta )P(\theta )$取最大值的$\theta$就是最好的$\theta$。

数学表达为：
$$\underset{\theta }{\mathrm{argmax}}P(\theta \mid X)=\underset{\theta }{\mathrm{argmax}}P(X\mid \theta )P(\theta )$$
这样得到的就是生成式模型。

贝叶斯估计的缺点：类条件概率$P(X\mid \theta )$是所有属性上的联合概率，难以从有限的训练集中直接估计而得。假设样本的d个属性都是二值的，则样本空间将有$2^d$种可能的取值，在现实应用中，这个值往往远大于训练样本数。

极大似然估计的缺点：估计结果的准确性严重依赖于所假设的概率分布形势是否符合潜在的真是数据分布。在实际应用中，欲做出能较好的接近潜在真实分布的假设，往往需要在一定程度上利用关于应用任务本身的经验知识。

3. 独立手推逻辑回归

指数族分布是一类分布的总称，该类分布的分布律（概率密度函数）的一般形式如下：
$$\begin{gathered} p(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta )) \\ =b(y)\exp [\eta (\theta )\cdot T(y)-A(\theta )] \\ =b(y)\exp (\mathbf{\eta }(\mathbf{\theta })\cdot \mathbf{T}(y)-A(\mathbf{\theta })) \\ =b(\mathbf{y})\exp (\mathbf{\eta }(\mathbf{\theta })\cdot \mathbf{T}(\mathbf{y})-A(\mathbf{\theta })) \end{gathered}$$
其中， $\eta$称为该分布的自然参数;$T(y)$为充分统计量，视具体的分布情况而定， 通常是等于随机变量y本身；$a(y)$是配分函数；$b(y)$是关于随机变量$y$的函数。常见的伯努利分布和正态分布均属于指数族分布。【$\eta$的T不是充分统计量的T，是向量转置的意思】上面不同行对应$\theta$和$y$分别是向量和标量的情况。

首先证明伯努利分布属于指数族分布。

伯努利分布
$$p(y)={\varphi }^y(1-\varphi {)}^{1-y}$$
其中 y ∈ { 0 , 1 } y \in\{0,1\} y∈{0,1}, $p(y=1)=\varphi$.对上式做恒等变形：
$$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp \left(\ln \left({\varphi }^y(1-\varphi {)}^{1-y}\right)\right)\\ & =\exp \left(\ln {\varphi }^y+\ln (1-\varphi {)}^{1-y}\right)\\ & =\exp (y\ln \varphi +(1-y)\ln (1-\varphi ))\\ & =\exp (y\ln \varphi +\ln (1-\varphi )-y\ln (1-\varphi ))\\ & =\exp (y(\ln \varphi -\ln (1-\varphi ))+\ln (1-\varphi ))\\ & =\exp \left(y\ln \left(\frac{\varphi }{1-\varphi }\right)+\ln (1-\varphi )\right)\end{array}$$
对比指数族分布的一般形式，我们有
$$\begin{array}{rl}b(y)& =1\\ \eta & =\ln \left(\frac{\varphi }{1-\varphi }\right)\\ T(y)& =y\\ a(\eta )& =-\ln (1-\varphi )=\ln \left(1+e^{\eta }\right)\end{array}$$
第二步，我么先给广义线性模型提出三条假设：

1. 在给定$x$的条件下，假设随机变量$y$服从某个指数族分布
2. 在给定$x$的条件下，我们的目标是得到一个模型$h(x)$能预测出$T(y)$的期望值。
3. 假设该指数族分布的自然参数$\eta$和$x$呈线性关系，即$\eta =w^{T}x$

因为对数几率回归是在对一个二分类问题进行建模，并且假设被建模的随机变量取值为0或者1，我们可以假设$y$服从伯努利分布。因此如果要构建一个线性模型来预测在给定$x$的条件下$y$的取值的话，可以考虑使用广义线性模型来进行建模。

第三步，构建对数几率回归。已知$y$服从伯努利分布，而伯努利分布属于指数族分布，所以满足广义线性模型的第一条假设，接着根据第二条假设我们可以推得模型$h(x)$的表达式为
$$h(\mathbf{x})=E[T(y\mid \mathbf{x})]$$
由于伯努利分布的$T(y\mid \mathbf{x})=y\mid \mathbf{x}$,所以：
$$h(\mathbf{x})=E[y\mid \mathbf{x}]=1\times p(y=1\mid x)+0\times p(y=0\mid x)=p(y=1\mid x)=\varphi$$
所以:
$$h(\mathbf{x})=\varphi$$
在第一步中我们有:
$$\begin{array}{l}\eta =\ln \left(\frac{\varphi }{1-\varphi }\right)\\ e^{\eta }=\frac{\varphi }{1-\varphi }\\ e^{-\eta }=\frac{1-\varphi }{\varphi }\\ e^{-\eta }=\frac{1}{\varphi }-1\\ 1+e^{-\eta }=\frac{1}{\varphi }\\ \frac{1}{1+e^{-\eta }}=\varphi \end{array}$$
所以我们有:
$$h(\mathbf{x})=\varphi =\frac{1}{1+e^{-\eta }}$$
根据第三条假设$\eta ={\mathbf{w}}^T\mathbf{x}$，最终有
$$h(\mathbf{x})=\varphi =\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}=p(y=1\mid \mathbf{x})$$
此即为对数几率回归模型