找工作之逻辑回归

---

注：本博客定义为学习笔记，为本人通过一些材料和书籍整理而来，或许会有些许心得体会。

线性回归

模型

公式如下：

$$f(x)=wx+b\tag0$$
给定一组样本 $(x_1,y_1)(x_2,y_1)\ldots (x_i,y_i)\ldots (x_n,y_n)$，若要用一个函数来拟合所有样本点的y值，可以用公式0来进行拟合。图如下（来自百度百科）：

损失函数

$$L(w,b)=\sum_{i=1}^{n}(f(x)-y_i)^2$$

最小二乘参数估计

令均方误差最小化，即：

$$\begin{aligned}(w^*,b^*)&=\mathop{\arg\min}_{(w,b)}\sum_{i=1}^{n}(f(x_i)-y_i)^2 \\ & =\mathop{\arg\min}_{(w,b)}\sum_{i=1}^{n}(wx_i+b-y_i)^2 \end{aligned}$$
分别令L(w,b)对w和b进行微分，令微分为0：
$$\frac{\partial L(w,b)}{\partial w}=0 \\ \frac{\partial L(w,b)}{\partial b}=0$$
求出结果如下：
$$\begin{aligned}w&=\cfrac {\sum\limits_{i=1}^{n}y_i(x_i-\bar x)}{\sum\limits_{i=1}^{n}x_i^2-\cfrac 1n\left(\sum\limits_{i=1}^{n}x_i\right)^2} \\ b&=\frac 1n\sum_{i=1}^{n}(y_i-wx_i)\end{aligned}$$

多元线性回归

$$f(x_i)=w^Tx+b$$
$x_i=(x_{i1};x_{i2};\ldots;x_{id})$
令 $w=(w;b)$
同样应用最小二乘法进行参数估计，得
$$w^*=\mathop{\arg\min}_w(y-xw)^T(y-xw)$$
令 $L(w)=(y-xw)^T(y-xw)$，对L(w)求导为0，得：
$$\frac{\partial L(w)}{\partial w}=2x^T(y-xw)=0$$

逻辑回归

模型

$$\begin{aligned}P(Y=1|x)&=\cfrac{1}{1+e^{-w\cdot x+b}}=\cfrac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}} \\ P(Y=0|x)&=1-P(Y=1|x)=\cfrac{1}{1+e^{w\cdot x+b}}\end{aligned}$$
令 $w=(w;b)$，此时，观察：
$$log \cfrac{P(Y=1|x)}{P(Y=0|x)}=w\cdot x$$
即求对数之后是线性的，因此逻辑回归是对数线性模型。
逻辑回归是分类任务，图如下：

sigmoid函数

sigmoid函数公式如下：

$$f(x)=\frac{1}{1+e^{-x}}$$
图像如下所示：

sigmoid函数有一个很好的特性，即：
$$f\prime (x)=f(x)(1-f(x))$$

极大似然估计

似然函数为：

$$L(w)=\prod_{i=1}^{n}P(Y=1|x_i)^{y_i}P(Y=0|x_i)^{1-y_i}$$
对其求对数，得对数似然函数：
$$\log L(w)=\sum_{i=1}^{n}[y_i\log\cfrac{e^{w\cdot x_i}}{1+e^{w\cdot x_i}}+(1-y_i)\log \cfrac{1}{1+e^{w\cdot x_i}}] \\ =\sum_{i=1}^{n}[y_i(w\cdot x_i)-\log(1+e^{w\cdot x_i})]$$
最大化对数似然函数，即可求出参数w的估计值。

损失函数

损失函数为负的对数似然函数：

$$\hat{L(w)}=-\frac1n\log L(w)=-\frac1n\sum_{i=1}^{n}[y_i(w\cdot x_i)-\log(1+e^{w\cdot x_i})]$$
将 $\hat{L(w)}$记为 $L(w)$，即
$$L(w)=-\frac1n\sum_{i=1}^{n}[y_i(w\cdot x_i)-\log(1+e^{w\cdot x_i})]$$
因此，极大化对数似然函数，即极小化损失函数。可用梯度下降法、拟牛顿法等优化方法来进行参数估计。

梯度下降

梯度下降法是一种迭代性的优化算法，先随机选取初始点$w_0$，然后用下面的公式更新参数w，直到满足终止条件为止。

$$w = w-\alpha \cfrac{\partial L(w)}{w}$$
其中， $\alpha$为学习率，
$$\cfrac{\partial L(w)}{w}=-\frac 1n\sum_{i=1}^{n}\left(y_i-\cfrac{e^{w\cdot x}}{1+e^{w\cdot x}} \right)x_i$$
梯度下降过程如下：

参考资料

李航，《统计学习方法》
赵志勇，《Python机器学习算法》
周志华，《机器学习》
Peter，《机器学习实战》
寒小阳，七月在线机器学习工程师
邹博，小象学院机器学习升级版