【深度学习基础】从零开始的炼丹生活02——逻辑回归/logistic回归、广义线性模型与最大熵模型

往期回顾：
00——机器学习数学基础以及数值计算数值优化方法
01——机器学习基本概念、统计学基本概念简单介绍

在学习深度学习之前，再学习一下基本的机器学习算法。首先从logistic回归开始，再说一说sigmoid的推导等。

---

一、逻辑回归/logistic回归模型的简单介绍

1. logistic分布

设$X$是连续随机变量，$X$服从logistic分布是指$X$具有下列分布函数和密度函数：
$$\begin{gathered} F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }} \\ f(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2} \end{gathered}$$
其中$\mu$为位置参数，$\gamma ＞0$为形状参数。

2. 二项逻辑回归模型

• 几率：事件发生的概率与该事件不发生的概率的比值。而对数几率就是取对数

对于二分类问题，类别$Y$只有1或0。如果我们认为事件$Y$发生的对数几率正比于随机变量$X$，即：
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$

那么便得出
$$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$$
加入偏置项b,得二项逻辑回归模型：
$$P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}$$

$$P(Y=0|x)=1-P(Y=1|x)$$

3. 模型参数估计

逻辑回归学习时，对于给定的训练数据集，可以应用极大似然估计。
对数似然函数为：
$$\begin{gathered} 设P(Y=1|x)=\pi (x) \\ L(w)=\sum _{i=1}^N[y_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))] \\ =\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i)] \end{gathered}$$

求出似然函数的极大值即可得到$w$的估计值。

4. 多项逻辑回归

与二项类似，K项模型是：
$$P(Y=k|x)=$$