百面机器学习 #3 经典算法：02 逻辑回归

参考：
百面机器学习
西瓜书

02 逻辑回归Logistic Regression（对数几率回归）

2.1 逻辑回归和线性回归

• 二者都使用极大似然法来对训练样本进行建模。

• 在求解超参数的过程中，都可以使用梯度下降的方法。

• 逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的最本质的区别。

  • 逻辑回归
    给定自变量和超参数后，得到因变量的期望$E[y|x;\theta ]$，并基于此期望来处理预测分类问题;
  • 线性回归
  • 求解$y={\theta }^{T}x+b$是真实线性关系的近似，用近似关系来处理回归问题。
  • 特别地，广义线性模型（Generalized Linear Models）中，输入空间到输出空间是非线性函数映射可以表示为$g(y)={\theta }^{T}x+b\Rightarrow y=g^{-1}({\theta }^{T}x+b)=f({\theta }^{T}x+b)$，故这里函数$g$要求是单调可微的。

• 逻辑回归可以看成广义线性模型，因为只需找一个单调可微函数$g$，将分类任务的真实标记$y$与线性回归模型的预测值联系起来，就可以将回归转换成分类。

2.2 二分类逻辑回归

从线性回归到逻辑回归，可以理解成要找一个映射$f$，将连续区间的值映射到有限值的区间，特定的值对应特定的类别。

• 单位阶跃函数是很好的选择，大于0的预测为一类，小于0的为另一类，等于0随意分。但是它不连续，因此构建模型后无法用作$f=g^{-1}(\cdot )$。
• 因此用接近单位阶跃函数的可微函数——对数几率函数(logistic function，是sigmoid函数，即S型函数的一种）来代替
  $$f(z)=\frac{1}{1+e^{-z}}$$
  可对逻辑回归进行化简
  $$\begin{gathered} y=f({\theta }^{T}x+b)=\frac{1}{1+e^{-({\theta }^{T}x+b))}} \\ \frac{1-y}{y}=e^{-({\theta }^{T}x+b))} \\ \ln \frac{y}{1-y}={\theta }^{T}x+b \end{gathered}$$
  若将y视为样本作为正例的可能性$P[y=1|x;\theta ,b]$，或说似然；称$\frac{y}{1-y}$为几率 (odds) ，对数几率 (log odds ，亦称logit)为
  $$\ln \frac{y}{1-y}$$
• 可用极大似然法最大化对数似然对参数进行求解
  $$\ell (\theta ,b)=\sum _{i=1}^m\ln p\left(y_i\mid x_i;\theta ,b\right)$$
  其中
  $$\begin{array}{l}p(y=1\mid x)=\frac{e^{{\theta }^{\mathrm{T}}x+b}}{1+e^{{\theta }^{\mathrm{T}}x+b}}\\ p(y=0\mid x)=\frac{1}{1+e^{{\theta }^{\mathrm{T}}x+b}}\end{array}$$

2.3 多项逻辑回归Softmax regression

当使用逻辑回归处理多标签分类问题时：

2.3.1 基本形式

假设每个样本属于$k$个不同类别的概率服从几何分布，则对每一类的分类预测概率可以表示为
$$h_{\theta }(x)=\left[\begin{array}{c}p(y=1\mid x;\theta )\\ p(y=2\mid x;\theta )\\ ⋮\\ p(y=k\mid x;\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{\mathrm{e}}^{{\theta }_j^{\top }x}}\left[\begin{array}{c}{\mathrm{e}}^{{\mathrm{e}}^{\top }x}\\ {\mathrm{e}}^{{\theta }_2^{\mathrm{T}x}}\\ ⋮\\ {\mathrm{e}}^{q_{j}x}\end{array}\right]$$

2.3.2 多项逻辑回归是二分类逻辑回归在多标签分类下的一种拓展

用多分类的形式写出二分类逻辑回归：
$$h_{\theta }(x)=\frac{1}{{\mathrm{e}}^{{\theta }_1^{\mathrm{T}}x}+{\mathrm{e}}^{{\theta }_2^{\mathrm{T}}x}}\left[\begin{array}{l}{\mathrm{e}}^{{\theta }_1^{\mathrm{T}}x}\\ {\mathrm{e}}^{{\theta }_2^{\mathrm{T}}x}\end{array}\right]$$
进行一下变化，消除参数$\theta$们的冗余性
$$\begin{array}{rl}{h}_{\theta }(x)=& \frac{1}{{\mathrm{e}}^{0\cdot x}+{\mathrm{e}}^{\left({\theta }_2^{\mathrm{T}}-{\theta }_1^{\mathrm{T}}\right)x}}\left[\begin{array}{c}{\mathrm{e}}^{0\cdot x}\\ {\mathrm{e}}^{\left({\theta }_2^{\mathrm{T}}-{\theta }_1^{\mathrm{T}}\right)x}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{1}{1+{\mathrm{e}}^{{\theta }^{\mathrm{T}}x}}\\ 1-\frac{1}{1+{\mathrm{e}}^{{\theta }^{\mathrm{T}}x}}\end{array}\right]\end{array}$$
这和二分类逻辑回归的式子就一样了。

2.3.3 当存在样本可能属于多个类别的情况时

• $k$个类别，训练$k$个二分类的逻辑回归分类器
• 对每个类别，第$i$个分类器用以区分样本可不可以归为第i类，即“第i类”与“非第i类”两类