保姆级讲解｜逻辑回归（LR）与最大熵模型

本文是笔者初学时的推导笔记，极其详细，可谓“保姆级”详细推导，看不懂的来打我好吧 🐶 🐶 🐶
另外，觉得前面在讲废话到可以直接跳到第三章🐶 🐶 🐶

之前的一篇文章 交叉熵损失(Cross-entropy)和平方损失(MSE)究竟有何区别？ ，其中就涉及到逻辑回归，那么今天，我就把逻辑回归掰开了揉碎了再讲一遍

本篇公式过多，导致编辑器直接卡死好几次，来个三连一点都不过分好吧 🐶 🐶 🐶

为了引出逻辑回归，先从最简单的线性回归开始讲起…

一、直观理解

1.1 最小二乘法的回顾

设 { ( x k , y k ) } k = 1 N \left\{\left(x_{k}, y_{k}\right)\right\}_{k=1}^{N} {(xk​,yk​)}k=1N​ 有N个点，如下图所示，用一条直线来拟合，该直线称为最小二乘拟合曲线。

曲线
$$y=Ax+B$$
的系数是下列线性方程的解，这些方程称为正规方程

$$\begin{array}{r}\left(\sum _{k=1}^N{x}_k^2\right)A+\left(\sum _{k=1}^N{x}_k\right)\mathrm{B}=\sum _{k=1}^N{x}_k{y}_k\end{array}$$ $$\begin{array}{r}\left(\sum _{k=1}^N{x}_k\right)A+NB=\sum _{\mathrm{k}=1}^{\mathrm{N}}{y}_k\end{array}$$

证明:

对于直线 $y=Ax+B$ ，点 $(x_k,y_k)$到线上的点$\left(x_k,A_k+\mathrm{B}\right)$的垂直距离为：
$$\begin{array}{r}{d}_k=\left|A_k+B-y_k\right|\end{array}$$
如上图所示，需要使垂直距离的平方和
$$E(A,B)=\sum _{k=1}^N{\left(A_k+B-y_k\right)}^2=\sum _{k=1}^N{d}_k^2$$
最小化。

通过偏导数$\frac{\partial E}{\partial A}$和$\frac{\partial E}{\partial B}$为0，可以得到$E(A,B)$的最小值，并且可以求出拟合曲线的2个参数$A$和$B$。主要此时 { x k } \left\{x_{k}\right\} {xk​}和 { y k } \left\{y_{k}\right\} {yk​}是常量，而$A$和$B$是变量。首先，固定$B$，对$A$求导可得
$$\begin{array}{rl}\frac{\partial E(A,B)}{\partial A}& =\sum _{k=1}^{N}2\left(A{x}_k+B-y_k\right)\left(x_k\right)\\ & =2\sum _{k=1}^N\left(A{x}_k^2+B{x}_k-x_k{y}_k\right)\\ & =2\sum _{k=1}^{N}A{x}_k^2+2\sum _{k=1}^{N}B{x}_k-2\sum _{k=1}^N{x}_k{y}_k\\ & =0\end{array}$$
而后固定$A$，$E(A,B)$对$B$求导可得
$$\begin{array}{rl}\frac{\partial E(A,B)}{\partial B}& =\sum _{k=1}^{N}2\left(A{x}_k+B-y_k\right)\\ & =2\sum _{k=1}^N\left(A{x}_k+B-y_k\right)\\ & =0\end{array}$$

以上即最小二乘法的推导

$$\begin{array}{rl}E(A,B)& =\sum _{k=1}^N{\left(A_k+B-y_k\right)}^2\\ & =\sum _{k=1}^N{d}_k^2\end{array}$$

二、线性回归（Linear Regression)

2.1 基本形式

【符号说明】：在李航《统计学方法》中，$\mathbf{w}$和$\mathbf{x}$等向量没有加粗体，为了便于识别，本文中对向量一律加上粗体表示。$\mathbf{w}\cdot \mathbf{x}$表示内积，其实更加准确的表达应该是${\mathbf{w}}^T\cdot \mathbf{x}$。

另外，在李航《统计学方法》中，$N$表示样本数,$n$表示特征维度；而周志华《机器学习》以及吴恩达《机器学习》中，$m$表示样本数,$d$表示特征维度。如果符号混乱，注意区分。

类比第一章中所提及的最小二乘拟合法。有$d$个特征维度的样本（示例）
$$\begin{array}{r}\mathbf{x}=\left(x_1;x_1;x_1\dots ,x_d\right)\end{array}$$
其中$x_i$是第$i$个属性(特征)的取值，其中粗体$\mathbf{x}$表示向量，分号表示换行符。向量默认是纵向排列的。

线性模型(Linear Model)试图学得一个通过线性组合来预测对函数，即
$$\begin{array}{r}f(\mathbf{x})=w_1{x}_1+w_2{x}_1+\cdots +w_d{x}_d+b\end{array}$$

一般向量表示为
$$\begin{array}{rl}f(\mathbf{x})& ={\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\end{array}\right]}^T\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_d\end{array}\right]+\mathrm{b}={\mathbf{w}}^T\mathbf{x}+b\end{array}$$
其中权重参数$\mathbf{w}$和偏置参数$b$，在学习模型的过程中确定。

权重参数的具体数值解释了这些权重在解释模型时的重要性，权重$w_i$越大，则表示特征$w_i$对重要性越大。

2.2 线性回归(Linear Regression)（回归模型）

给定数据集
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … ( x m , y m ) } = { ( [ x 11 x 12 ⋮ x 1 d ] , y 1 ) , ( [ x 21 x 22 ⋮ x 2 d ] , y 2 ) , … ( [ x m 1 x m 2 ⋮ x m d ] , y m ) } \begin{aligned} D &=\left\{\left({\boldsymbol{x}}_{1}, y_{1}\right),\left({\boldsymbol{x}}_{2}, y_{2}\right), \ldots\left({\boldsymbol{x}}_{m}, y_{m}\right)\right\} \\ &=\left\{\left(\left[\begin{array}{c}{{x}_{11}} \\ {{x}_{12}} \\ {\vdots} \\ {{x}_{1 d}}\end{array}\right], y_{1}\right),\left(\left[\begin{array}{c}{{x}_{21}} \\ {{x}_{22}} \\ {\vdots} \\ {{x}_{2 d}}\end{array}\right], {y}_{2}\right), \dots\left(\left[\begin{array}{c}{{x}_{m 1}} \\ {{x}_{m 2}} \\ {\vdots} \\ {{x}_{m d}}\end{array}\right], y_{m}\right)\right\} \end{aligned} D​={(x1​,y1​),(x2​,y2​),…(xm​,ym​)}=⎩⎪⎪⎪⎨⎪⎪⎪⎧​⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​x11​x12​⋮x1d​​⎦⎥⎥⎥⎤​,y1​⎠⎟⎟⎟⎞​,⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​x21​x22​⋮x2d​​⎦⎥⎥⎥⎤​,y2​⎠⎟⎟⎟⎞​,…⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​xm1​xm2​⋮xmd​​⎦⎥⎥⎥⎤​,ym​⎠⎟⎟⎟⎞​⎭⎪⎪⎪⎬⎪⎪⎪⎫​​

其中样本数为$m$，每个样本有$d$维特征。$y_i\in \mathbb{R}$。线性回归(Linear Regression)将学习一个线性模型，以尽可能准确得预测出实值输出标记。

2.2.1 单变量线性回归(Linear Regression with one Variable)

先考虑最简单的模型，特征属性个数为1，即$d=1$。此时粗体的$\mathbf{x}$只有一维，为了表示方便，就不用粗体了。即
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … ( x m , y m ) } = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … ( x m , y m ) } D=\left\{\left({\boldsymbol{x}}_{1}, y_{1}\right),\left({\boldsymbol{x}}_{2}, y_{2}\right), \ldots\left({\boldsymbol{x}}_{m}, y_{m}\right)\right\}=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots\left(x_{m}, y_{m}\right)\right\} D={(x1​,y1​),(x2​,y2​),…(xm​,ym​)}={(x1​,y1​),(x2​,y2​),…(xm​,ym​)}

其中$x_i\in \mathbb{R}$。

对于离散型的属性(特征)

1. 如果存在"序"(order)关系，可以通过连续化将其转化为连续值。例如升高的高、矮可转化为 { 1.0 , 0.0 } \{1.0,0.0\} {1.0,0.0}，三值属性如高、中、低，可转化为 { 1.0 , 0.5 , 0.0 } \{1.0,0.5,0.0\} {1.0,0.5,0.0}。

2. 若属性间不存在"序"关系，假定有k个属性值，则通常可转化为k维one-hot向量。例如属性（特征）"瓜类"的取值为西瓜、南瓜、黄瓜，可转化为$(0,0,1),(0,1,0),(0,0,1)$。

线性回归试图学得
$$\begin{array}{r}f\left(x_i\right)=\omega x_i+b\end{array}$$ 使得 $$\begin{array}{r}f\left(x_i\right)\approx y_i\end{array}$$
选择最佳的$\omega$和$b$的关键是使得$f(x_i)$和$y_i$之间的距离最小。对于回归任务，均方差(平方损失 square loss)是回归任务最常用的性能度量。模型最优即表示均方误差最小。即
$$\begin{array}{rl}\left({\omega }^{\ast },b^{\ast }\right)& =\underset{(\omega ,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(\omega ,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-\omega x_i-b\right)}^2\end{array}$$
其中${\omega }^{\ast }$和$b^{\ast }$分别表示中$\omega$和$b$的近似解。

均方误差有很好的几何意义，它描述了欧式距离(Euclidean distance)。基于均方误差最小化来求模型的解的方法称之为"最小二乘法"(least square method)。在线性回归中，最小二乘法就是试图找一条直线，使得所有样本到直线上的欧式距离之和最小。如第一章所示。

求解 ${\omega }^{\ast }$ 和 $b^{\ast }$ 使得 $E_{(\omega ,b)}={\sum }_{i=1}^m{\left(y_i-\omega x_i-b\right)}^2$ 最小化的过程，称为线性回归模型的最小二乘"参数估计"(parameter estimation)。类比第一章的推导，可以将 $E_{(\omega ,b)}$ 分别对 ${\omega }^{\ast }$ 和 $b^{\ast }$ 求导，可得
$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)\end{array}$$
$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial b}& =2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)\end{array}$$
而后令上面两式为0，可得$w$和$b$的最优解的闭式(closed-form)解
$$\begin{array}{r}w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\overline{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}\end{array}$$
$$\begin{array}{r}b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)\end{array}$$
其中$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$为$x$的均值。

证明:

这里的 $E_{(w,b)}$ 是关于 $w$ 和 $b$ 的凸函数。关于凸函数的内容可参考《凸优化》一书，在此不再赘述。

令 $\frac{\partial E_{(w,b)}}{\partial w}$ 等于0
$$w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i=0$$
$$w\sum _{i=1}^m{x}_i^2=\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^{m}b{x}_i$$

令$\frac{\partial E_{(w,b)}}{\partial b}$等于0，可得 $b=\frac{1}{m}{\sum }_{i=1}^m(y_i-w{x}_i)$

又 $\frac{1}{m}{\sum }_{i=1}^m{y}_i=\bar{y}$,$\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}$
则 $b=\bar{y}-w\bar{x}$ 代入上式可得
$$\begin{array}{rl}w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^m(\bar{y}-w\bar{x})x_i\\ w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i+w\bar{x}\sum _{i=1}^m{x}_i\\ w(\sum _{i=1}^m{x}_i^2-\bar{x}\sum _{i=1}^m{x}_i)& =\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i\\ w& =\frac{{\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}\end{array}$$
又
$$\bar{y}\sum _{i=1}^m{x}_i=\frac{1}{m}\sum _{i=1}^m{y}_i\sum _{i=1}^m{x}_i=\bar{x}\sum _{i=1}^m{y}_i$$
$$\bar{x}\sum _{i=1}^m{x}_i=\frac{1}{m}\sum _{i=1}^m{x}_i\sum _{i=1}^m{x}_i=\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2$$
代入上式可得
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
【 注 】

上式还可以进一步简化为能够用向量表达的形式，将
$$\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2=\bar{x}\sum _{i=1}^m{x}_i$$
代入分母可得
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}\\ & =\frac{{\sum }_{i=1}^m(y_i{x}_i-y_i\bar{x})}{{\sum }_{i=1}^m(x_i^2-x_i\bar{x})}\end{array}$$
又因为$$\bar{y}\sum _{i=1}^m{x}_i=\bar{x}\sum _{i=1}^m{y}_i=\sum _{i=1}^m\bar{y}{x}_i=\sum _{i=1}^m\bar{x}{y}_i=m\bar{x}\bar{y}=\sum _{i=1}^m\bar{x}\bar{y}$$

$$\sum _{i=1}^m{x}_i\bar{x}=\bar{x}\sum _{i=1}^m{x}_i=\bar{x}\cdot m\cdot \frac{1}{m}\cdot \sum _{i=1}^m{x}_i=m{\bar{x}}^2=\sum _{i=1}^m{\bar{x}}^2$$
则上式可化为：
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^m(y_i{x}_i-y_i\bar{x}-x_i\bar{y}+\bar{x}\bar{y})}{{\sum }_{i=1}^m(x_i^2-x_i\bar{x}-x_i\bar{x}+{\bar{x}}^2)}\\ & =\frac{{\sum }_{i=1}^m(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^m(x_i-\bar{x}{)}^2}\end{array}$$
若令
$$\mathbf{x}=(x_1,x_2,...,x_m{)}^T$$
$${\mathbf{x}}_d=(x_1-\bar{x},x_2-\bar{x},...,x_m-\bar{x}{)}^T$$
为去均值后的 $\mathbf{x}$

$$\mathbf{y}=(y_1,y_2,...,y_m{)}^T$$
$${\mathbf{y}}_d=(y_1-\bar{y},y_2-\bar{y},...,y_m-\bar{y}{)}^T$$
为去均值之后的$\mathbf{y}$
其中$\mathbf{x}$、${\mathbf{x}}_{\mathbf{d}}$、$\mathbf{y}$、${\mathbf{y}}_{\mathbf{d}}$均为m行1列的列向量。代入上式可得
$$w=\frac{{\mathbf{x}}_d^T{\mathbf{y}}_d}{{\mathbf{x}}_d^T{\mathbf{x}}_d}$$

2.2.2 多变量线性回归(Linear Regression with Multiple Variable)

接下来考虑更一般的情况，如本节开头的数据集$D$，样本由$d$个属性(特征)描述,
其中，$\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\end{array}\right]$, 此时试图学得
$$\begin{array}{rl}f\left({\mathbf{x}}_i\right)& ={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\\ & =\left[\begin{array}{llll}{w}_1& w_2& \dots & w_d\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_d\end{array}\right]+b\\ & =w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b\end{array}$$

使得：
$$f\left({\mathbf{x}}_i\right)\simeq y_i$$ 这称为"多元线性回归"(multivariable linear regression)。

类似的，可利用最小二乘对$\mathbf{w}$和$b$进行估计。为便于讨论，将$\mathbf{w}$和$b$合成向量形式
$$\hat{\mathbf{w}}=\left[\begin{array}{c}\mathbf{w}\\ b\end{array}\right]=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\\ b\end{array}\right]$$
相应的，把数据集$D$表示成一个$m\times (d+1)$大小的矩阵$\mathbf{X}$，其中样本个数为$m$，特征(属性)个数为$d$，其中每一行对应一个样本(示例)，每行的前$d$个元素为该样本的$d$个特征，最后一个元素恒置为1，即
$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}_1^{\mathrm{T}}& 1\\ {\mathbf{x}}_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathrm{T}}& 1\end{array}\right)$$
再把标签也改成向量形式
$$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
类似于单变量的线性回归，有
$$\begin{array}{r}{\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\end{array}$$
其中${\mathbf{w}}^{\ast }$表示$\mathbf{w}$的解。令$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$，因为
$$\begin{array}{rl}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})& =\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]-\left[\begin{array}{ccccc}{x}_{11}& x_{12}& & x_{1d}& 1\\ x_{21}& x_{22}& & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& \\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\\ b\end{array}\right]\\ & =\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]-\left[\begin{array}{c}{w}_1{x}_{11}+w_2{x}_{12}+\cdots +w_d{x}_{1d}+b\\ w_1{x}_{21}+w_2{x}_{22}+\cdots +w_d{x}_{2d}+b\\ ⋮\\ w_1{x}_{m1}+w_2{x}_{m2}+\cdots +w_d{x}_{md}+b\end{array}\right]\\ & =\left[\begin{array}{c}{y}_1-f\left({\mathbf{x}}_1\right)\\ y_2-f\left({\mathbf{x}}_2\right)\\ ⋮\\ y_m-f\left({\mathbf{x}}_{\mathbf{m}}\right)\end{array}\right]\end{array}$$
所以
$$\begin{array}{rl}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})& =\left[y_1-f\left({\mathbf{x}}_1\right)y_2-f\left({\mathbf{x}}_2\right)\dots y_m-f\left({\mathbf{x}}_{\mathbf{m}}\right)\right]\left[\begin{array}{c}{y}_1-f\left({\mathbf{x}}_1\right)\\ y_2-f\left({\mathbf{x}}_2\right)\\ ⋮\\ y_m-f\left({\mathbf{x}}_{\mathbf{m}}\right)\end{array}\right]\\ & ={\left(y_1-f\left({\mathbf{x}}_1\right)\right)}^2+{\left(y_2-f\left({\mathbf{x}}_2\right)\right)}^2+\cdots +{\left(y_m-f\left({\mathbf{x}}_{\mathbf{m}}\right)\right)}^2\end{array}$$
可见，$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$ 表示的也是最小二乘的概念。

$E_{\hat{\mathbf{w}}}$对$\hat{\mathbf{w}}$求导可得
$$\begin{array}{r}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\end{array}$$

证明:
$$\begin{array}{rl}{E}_{\hat{w}}& =(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\\ & ={\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{y}+{\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{X}\hat{\mathbf{w}}\end{array}$$
对$\hat{\mathbf{w}}$求导可得
$$\begin{array}{rl}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =\frac{\partial {\mathbf{y}}^T\mathbf{y}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\mathbf{y}}^T\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}\\ & =0-{\mathbf{X}}^T\mathbf{y}-{\mathbf{X}}^T\mathbf{y}+\left({\mathbf{X}}^T\mathbf{X}+{\mathbf{X}}^T\mathbf{X}\right)\hat{\mathbf{w}}\\ & =2{\mathbf{X}}^T(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\end{array}$$
由此即得证。

2.2.3 关于向量求导补充证明

实值函数相对于实向量求偏导

关于向量求导的详细说明可参考 张贤达《 矩阵分析与应用》一书。

符号说明：向量默认为纵向排列的 列向量

1、[实值对列向量求偏导]

相对于$n\times 1$向量$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$ 的梯度算子记作${\nabla }_x$，定义为 $$\begin{array}{r}{\nabla }_x\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\left[\begin{array}{c}\frac{\partial }{\partial x_1}\\ \frac{\partial }{\partial x_2}\\ ⋮\\ \frac{\partial }{\partial x_n}\end{array}\right]=\frac{\partial }{\partial \mathbf{x}}\end{array}$$
因此，以$n\times 1$实向量 $\mathbf{x}$ 为变元的实标量函数$f(\mathbf{x})$相对于$\mathbf{x}$ 的梯度为一个以$n\times 1$列向量，定义为
$$\begin{array}{r}{\nabla }_{\mathbf{x}}f(\mathbf{x})\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\left[\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ \frac{\partial f(\mathbf{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\end{array}$$
梯度方向的负方向称为变元 $x$ 的梯度流(gradient flow)，记作
$$\dot{\mathbf{x}}=-{\nabla }_{\mathbf{x}}f(\mathbf{x})$$
从梯度的定义可以看出

• 一个以向量为变元的标量函数的梯度为一向量。
• 梯度的每个分量给出了标量函数在该分量上的变化率。

2、 [实值对行向量求偏导]

实值函数 $f(\mathbf{x})$ 相对于$1\times n$行向量${\mathbf{x}}^{\mathrm{T}}=\left[x_1,x_2\cdots x_n\right]$ 的梯度为 $1\times n$行向量，定义为
$$\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\mathrm{T}}}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\cdots ,\frac{\partial f(\mathbf{x})}{\partial x_n}\right]={\nabla }_{{\mathbf{x}}^{\mathrm{T}}}f(\mathbf{x})$$

3、 [行向量对列向量求偏导]

$m$维行向量$\mathbf{f}(\mathbf{x})=\left[f_1(\mathbf{x}),f_2(\mathbf{x}),\cdots ,f_m(\mathbf{x})\right]$ 相对于$n$维实列向量 $\mathbf{x}$ 的梯度为一个$n\times m$的矩阵，定义为 $$\begin{array}{r}\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\left[\begin{array}{cccc}\frac{\partial f_1(\mathbf{x})}{\partial x_1}& \frac{\partial f_2(\mathbf{x})}{\partial x_1}& \dots & \frac{\partial f_m(\mathbf{x})}{\partial x_1}\\ \frac{\partial f_2(\mathbf{x})}{\partial x_2}& \frac{\partial f_2(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial f_m(\mathbf{x})}{\partial x_2}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f_1(\mathbf{x})}{\partial x_n}& \frac{\partial f_2(\mathbf{x})}{\partial x_n}& \cdots & \frac{\partial f_m(\mathbf{x})}{\partial x_n}\end{array}\right]={\nabla }_{\mathbf{x}}\mathbf{f}(\mathbf{x})\end{array}$$
若
$$\mathbf{f}(\mathbf{x})=\left[y_1,y_2,\cdots ,y_n\right]=\left[x_1,x_2,\cdots ,x_n\right]={\mathbf{x}}^{\mathbf{T}}$$
则
$$\begin{array}{r}\frac{\partial {\mathbf{x}}^{\mathbf{T}}}{\partial \mathbf{x}}=\mathbf{I}\end{array}$$
式中，$I$为单位矩阵。这是一个非常有用的结果。

4、 [列向量对行向量求偏导]

若$m\times 1$ 向量函数
$$f(x)=\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
其中，$y_1,y_2,...y_m$是向量的标量函数。一阶梯度
$$\begin{array}{r}\frac{\partial \mathbf{y}}{\partial {\mathbf{x}}^{\mathrm{T}}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]\end{array}$$
是一个$m\times n$矩阵，称为向量函数$$f(x)=\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
的Jacobi(雅克比)矩阵 (列向量对行向量求偏导)

【 几个重要推论】

1、 若$A$和$y$均与向量$x$无关，则
$$\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^{\mathrm{T}}}{\partial \mathbf{x}}\mathbf{A}\mathbf{y}=\mathbf{A}\mathbf{y}$$
【 注】 偏导符号 $\partial$ 要与紧跟在其后的${\mathbf{x}}^{\mathrm{T}}$ 连在一起，不可直接分开。

2.、 由于
$${\mathbf{y}}^{\mathrm{T}}\mathbf{A}\mathbf{x}=⟨{\mathbf{A}}^{\mathrm{T}}\mathbf{y},\mathbf{x}⟩=⟨\mathbf{x},{\mathbf{A}}^{\mathrm{T}}\mathbf{y}⟩={\mathbf{x}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{y}$$
所以
$$\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{y}}{\partial \mathbf{x}}={\mathbf{A}}^{\mathrm{T}}\mathbf{y}$$

3、 由于
$${\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}=\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}{x}_i{x}_j$$
所以可求出梯度 $\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}$ 的第$k$ 个分量为
$${\left[\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}\right]}_k=\frac{\partial }{\partial {\mathbf{x}}_k}\sum _{i=1}^n\sum _{j=1}^n{\mathbf{A}}_{ij}{x}_{\mathbf{ı}}{x}_j=\sum _{i=1}^n{A}_{ik}{x}_i+\sum _{j=1}^n{A}_{kj}{x}_j$$
即有
$$\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{A}\mathbf{x}+{\mathbf{A}}^{\mathrm{T}}\mathbf{x}$$
特别得，若A为对称矩阵，则有
$$\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{A}\mathbf{x}$$

以下对上述三个向量求导对结论再进行实例的细化证明，为了简单说明问题，对向量$\mathbf{x}$、向量$\mathbf{y}$以及矩阵$\mathbf{A}$都简化成最简单的形式。

【 实例说明】

证明推论 1)

其中
$\mathbf{x}=\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]$ ，$\mathbf{y}=\left[\begin{array}{l}{y}_1\\ y_2\\ y_3\end{array}\right]$
$$\begin{array}{rl}& {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}=\left[\begin{array}{lll}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{l}{y}_1\\ y_2\\ y_3\end{array}\right]\\ & =\left[\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right),\left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right),\left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)\right]\left[\begin{array}{l}{y}_1\\ y_2\\ y_3\end{array}\right]\\ & =\left(y_1\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)+y_2\left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right)+y_3\left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)\right)\end{array}$$

对每个分量求偏导可得

$$\begin{array}{r}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_1}=\left(y_1{a}_{11}+y_2{a}_{12}+y_3{a}_{13}\right)=\left[\begin{array}{lll}{y}_1& y_2& y_3\end{array}\right]\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ a_{13}\end{array}\right]\end{array}$$
$$\begin{array}{r}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_2}=\left(y_1{a}_{21}+y_2{a}_{22}+y_3{a}_{23}\right)=\left[\begin{array}{lll}{y}_1& y_2& y_3\end{array}\right]\left[\begin{array}{c}{a}_{21}\\ a_{22}\\ a_{23}\end{array}\right]\end{array}$$
$$\begin{array}{r}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_3}=\left(y_1{a}_{31}+y_2{a}_{32}+y_3{a}_{33}\right)=\left[\begin{array}{lll}{y}_1& y_2& y_3\end{array}\right]\left[\begin{array}{l}{a}_{31}\\ a_{32}\\ a_{33}\end{array}\right]\end{array}$$

$$\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_1}\\ \frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_2}\\ \frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{y}}{\partial {\mathbf{x}}_3}\end{array}\right]=\left[\begin{array}{c}{y}_1{a}_{11}+y_2{a}_{12}+y_3{a}_{13}\\ y_1{a}_{21}+y_2{a}_{22}+y_3{a}_{23}\\ y_1{a}_{31}+y_2{a}_{32}+y_3{a}_{33}\end{array}\right]=\mathbf{A}\mathbf{y}$$

证明推论 3)

其中
$\mathbf{x}=\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]$
$$\begin{array}{rl}& {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}=\left[\begin{array}{lll}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]\\ & =\left[\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right),\left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right),\left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]\\ & =\left(x_1\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)+x_2\left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right)+x_3\left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)\right)\end{array}$$

对每个分量求偏导可得

$$\begin{array}{rl}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_1}& =\left(2x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)+\left(x_2{a}_{12}+x_3{a}_{13}\right)\\ & =\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)+\left(x_1{a}_{11}+x_2{a}_{12}+x_3{a}_{13}\right)\\ & =\left[\begin{array}{lll}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\end{array}\right]+\left[\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]\end{array}$$
$$\begin{array}{r}\begin{array}{rl}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_2}& =\left(x_1{a}_{12}+2x_2{a}_{22}+x_3{a}_{32}\right)+\left(x_1{a}_{21}+x_3{a}_{23}\right)\\ & =\left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right)+\left(x_1{a}_{21}+x_2{a}_{22}+x_3{a}_{23}\right)\\ & =\left[\begin{array}{lll}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{c}{a}_{12}\\ a_{22}\\ a_{32}\end{array}\right]+\left[\begin{array}{lll}{a}_{21}& a_{22}& a_{23}\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]\end{array}\end{array}$$
$$\begin{array}{r}\begin{array}{rl}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_3}& =\left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)+\left(x_1{a}_{31}+x_2{a}_{32}+x_3{a}_{33}\right)\\ & =\left[\begin{array}{lll}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{c}{a}_{13}\\ a_{23}\\ a_{33}\end{array}\right]+\left[\begin{array}{lll}{a}_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]\end{array}\end{array}$$
$$\begin{array}{rl}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}& =\left[\begin{array}{c}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_1}\\ \frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_2}\\ \frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial {\mathbf{x}}_3}\end{array}\right]\\ & =\left[\begin{array}{l}\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)+\left(x_1{a}_{11}+x_2{a}_{12}+x_3{a}_{13}\right)\\ \left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right)+\left(x_1{a}_{21}+x_2{a}_{22}+x_3{a}_{23}\right)\\ \left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)+\left(x_1{a}_{31}+x_2{a}_{32}+x_3{a}_{33}\right)\end{array}\right]\\ & =\left[\begin{array}{l}\left(x_1{a}_{11}+x_2{a}_{12}+x_3{a}_{13}\right)\\ \left(x_1{a}_{21}+x_2{a}_{22}+x_3{a}_{23}\right)\\ \left(x_1{a}_{31}+x_2{a}_{32}+x_3{a}_{33}\right)\end{array}\right]+\left[\begin{array}{c}\left(x_1{a}_{11}+x_2{a}_{21}+x_3{a}_{31}\right)\\ \left(x_1{a}_{12}+x_2{a}_{22}+x_3{a}_{32}\right)\\ \left(x_1{a}_{13}+x_2{a}_{23}+x_3{a}_{33}\right)\end{array}\right]\\ & =\mathbf{A}\mathbf{x}+\mathbf{A}{\mathbf{x}}^{\mathrm{T}}\end{array}$$

现在回到式
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
令上式为零即可得到$\hat{\mathbf{w}}$的最优解的闭式解。以下进行分类讨论。

【 注 】 关于闭式解

闭式解closed form solution）也叫解析解(analytical solution)，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题。所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。用来求得解析解的方法称为解析法〈analytic techniques〉，解析法即是常见的微积分技巧，例如分离变量法等。

解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，我们皆可将其带入解析函数求得正确的相应变量。

例如一元二次方程的求解公式为 $$\frac{-b\pm \sqrt{b^2-4ac}}{2a}$$

1、 当${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 为满秩矩阵(fuul-rank matrix)或者正定矩阵(positive definite matrix)时，令上式为零可得
$${\hat{\mathbf{w}}}^{\ast }={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$
其中 ${\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}$ 是矩阵$\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)$的逆矩阵， 令 ${\hat{\mathbf{x}}}_i=\left[\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right]$ 则最终学到的多元回归模型为
$$\begin{array}{rl}f\left({\hat{\mathbf{x}}}_i\right)& =\left[\begin{array}{lllll}{x}_{i1}& x_{i2}& \dots & x_{id}& 1\end{array}\right]\left[\begin{array}{c}{w}_1^{\ast }\\ w_2^{\ast }\\ ⋮\\ w_d^{\ast }\\ b\end{array}\right]\\ & =\left[\begin{array}{lllll}{x}_{i1}& x_{i2}& \dots & x_{id}& 1\end{array}\right]{\hat{\mathbf{w}}}^{\ast }\\ & ={\hat{\mathbf{x}}}_i^{\mathrm{T}}{\hat{\mathbf{w}}}^{\ast }\\ & ={\hat{\mathbf{x}}}_i^{\mathrm{T}}{\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\end{array}$$

2、然而真实世界往往${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$不为满秩，当样本的特征数大于样本数，即 $\mathbf{X}$ 的列数大于行数，则${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$显然不满秩。由此可由多个 $\hat{\mathbf{w}}$ 解，都能够使得均方差误差最小化。(类比：解线性方程时，未知数个数多于方程的个数时，会有多个解)

故而，选择哪一个解作为输出，则还需要另外一个约束，常见做法是正则化(regularization)

可以对线性回归模型
$$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
进行尺度上的变化，如在指数尺度上变化
$$\ln y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
这是"对数线性回归"(log-linear regression),它实际上是试图让 $e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}$ 逼近 $y$。上式在形式上仍然是线性回归，但是实际上已经在求取输入空间到输出空间的非线性函数映射。

更一般地，考虑单调可微函数$g(\cdot )$，其中$g(\cdot )$ 连续且充分光滑，令
$$y=g^{-1}\left({\mathbf{w}}^T\mathbf{x}+b\right)$$

这样得到的模型称为"广义线性模型"(geberalized linear model)，其中函数$g(\cdot )$称为"联系函数"(link function)。显然，对数线性回归是广义线性回归在 $g(\cdot )=\ln (\cdot )$ 时的特例。

广义线性模型的参数估计通常通过加权最小二乘法或者极大似然法进行。

2.2.4 线性回归与逻辑回归的关系

1.在线性回归中，是用预测的直线$f(x_i)=w{x}_i+b$来拟合真实的$y$值，而后用两者之间的平方损失来度量其拟合的效果，具体的是用平方损失函数来表示。而后通过求出这个损失函数的极小值来确定最优的参数$w$和$b$。

2.如果数据不是直线分布的，那么类比数据拟合中，把坐标做一下倒数、取对数等等处理，就可以拟合非线性的曲线。因为直线的拟合效果更容易度量。

上面提到，对纵坐标进行尺度上的变化，如在指数尺度上变化
$$\ln y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
这是"对数线性回归"(log-linear regression),它实际上是试图让 $e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}$ (其实本质就是$e^x$，$w$和$b$不过是对$x$做一些尺寸缩放和平移而已)逼近$y$。上式在形式上仍然是线性回归，但是实际上已经在求取输入空间到输出空间的非线性函数映射。如下图所示：

在图中，原本的数据 $(x_i,y_i)$ 是大致呈指数分布的，即图中的黑色曲线(上方的曲线)，而后对$y_i$取对数以后，即 $y_i^{\prime }=\ln y_i$，即图中的红色直线(下方的曲线)。

3.线性回归是"回归"问题，而后面提到的逻辑回归是"分类"问题。 为了使得回归问题能够变成二分类问题，$z=wx+b$,需要把$z\in (-\infty ,+\infty )$映射到$y\in (0,1)$。所以需要有一个类似于阶跃函数的图像，但是为了能够微分便于计算，所以有了 Sigmoid函数，即$\sigma$函数，
$$y=\frac{1}{1+e^{-z}}$$

函数曲线如图所示。

4.上面的线性回归的图可以理解为用
$$e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}$$ 逼近$y$,即
$$y=e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}\Rightarrow \ln y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
而逻辑回归的图可以理解为用
$$\frac{1}{1+e^{-\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)}}$$
逼近$y$，即
$$y=\frac{1}{1+e^{-\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)}}\Rightarrow \ln \frac{y}{1-y}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$

2.3 线性回归的梯度下降算法

【说明】 这里仅针对单变量线性回归的梯度下降算法，多变量的以此类推。

在线性回归中使用的损失函数是"平方损失函数"(quadratic loss function)。
$$L(Y,f(X))=(Y-f(X){)}^2$$ 即上面的提到的
$$E_{(\omega ,b)}=\sum _{i=1}^m{\left(y_i-\omega x_i-b\right)}^2$$
但是在计算的时候，常常多出一个2，并且表示成平均损失的形式：
$$\begin{array}{rl}Los{s}_{(\omega ,b)}=E_{(\omega ,b)}& =\frac{1}{2m}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2\\ & =\frac{1}{2m}\sum _{i=1}^m{\left(y_i-\omega x_i-b\right)}^2\end{array}$$

1.这里多出一个$1/2$的系数仅仅是为了计算方便。

2.这里的平方损失函数 $Los{s}_{(\omega ,b)}$ 是凸函数，直接可以求出解析解，即根据上面的求导为零，就可以求出唯一的极值点，当然也可以用梯度下降算法来求极值点。但是，在后面逻辑回归中，如果也用这个平方损失函数，就变成非凸函数，不能直接求出解析解，需要用其他方法。后面再详述。

以下计算损失函数对每个参数的偏导

拟合的曲线
$$f\left(x_i\right)=w{x}_i+b$$
损失函数
$$L(w,b)=\frac{1}{2m}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2$$
对$w$求偏导
$$\begin{array}{rl}\frac{\partial L(w,b)}{\partial w}& =\frac{\partial }{\partial w}\frac{1}{2m}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\frac{\partial }{\partial w}\frac{1}{2m}\sum _{i=1}^m{\left(w{x}_i+b-y_i\right)}^2\\ & =\frac{1}{m}\sum _{i=1}^m\left(w{x}_i+b-y_i\right)x_i\\ & =\frac{1}{m}\sum _{i=1}^m\left(f\left(x_i\right)-y_i\right)x_i\end{array}$$
对$b$求偏导
$$\begin{array}{rl}\frac{\partial L(w,b)}{\partial b}& =\frac{\partial }{\partial b}\frac{1}{2m}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\frac{\partial }{\partial b}\frac{1}{2m}\sum _{i=1}^m{\left(w{x}_i+b-y_i\right)}^2\\ & =\frac{1}{m}\sum _{i=1}^m\left(w{x}_i+b-y_i\right)\\ & =\frac{1}{m}\sum _{i=1}^m\left(f\left(x_i\right)-y_i\right)\end{array}$$
所以梯度下降法：
$$\begin{array}{rl}\text{Repeat}\{w:& =w-\alpha \frac{\partial L(w,b)}{\partial w}\\ & =w-\alpha \frac{1}{m}\sum _{i=1}^m\left(f\left(x_i\right)-y_i\right)x_i\\ & \\ b:& =b-\alpha \frac{\partial L(w,b)}{\partial b}\\ & =b-\alpha \frac{1}{m}\sum _{i=1}^m\left(f\left(x_i\right)-y_i\right)\\ \}& \end{array}$$

三、逻辑回归(Logistic Regression)与最大熵模型

逻辑回归(logistic regression)是统计学习方法中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑斯蒂回归模型与最大熵模型都属于对数线性模型。

3.1 逻辑回归模型（分类模型）

首先申明关于logistic regression
一词的称谓。在周志华西瓜书《机器学习》中称为"对数几率回归"，在李航《统计学方法》中称之为"逻辑斯蒂回归"。其他也有采用"逻辑回归"的说法。
虽然称之为"回归"，但是实际上是一种分类方法。

3.1.1 逻辑斯蒂分布(logistic distribution)

定义(逻辑斯蒂分布)
设$X$是连续随机变量，$X$服从逻辑斯蒂分布是指$X$具有以下分布函数和密度函数：
$$F(x)=P(X⩽x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma {\left(1+e^{-(x-\mu )/\gamma }\right)}^2}$$
式中，$\mu$为位置参数，$\gamma$为形状参数。

【注】

当$\mu =0$，$\gamma =1$， $$F(x)=P(X⩽x)=\frac{1}{1+e^{-x}}$$
即常见的Sigmoid曲线。

逻辑斯蒂分布的密度函数$f(x)$和分布函数$F(x)$的图像如下图所示。分布函数属于逻辑斯蒂函数，即Sigmoid
curve。该曲线以点$\left(\mu ,\frac{1}{2}\right)$为中心对称，即
$$F(-x+\mu )-\frac{1}{2}=-F(x-\mu )+\frac{1}{2}$$
曲线在中心附近增长较快，两端增长慢。
形状参数$\gamma$越小，曲线在中心附近增长越快。

3.1.2 二项逻辑斯蒂回归模型(binomial logistic regression model)

二项逻辑斯蒂回归模型是一种分类模型，由条件概率$P(Y|X)$表示，形式为参数化的逻辑斯蒂分布。这里，随机变量$X$取值为实数，随机变量$Y$取值为1或者0.通过监督学习方法来估计模型参数

符合说明：在李航《统计学方法》中，$\mathbf{w}$ 和 $\mathbf{x}$ 等向量没有加粗体，为了便于识别，本文中对向量一律加上粗体表示。$\mathbf{w}\cdot \mathbf{x}$表示内积，其实更加准确的表达应该是 ${\mathbf{w}}^T\cdot \mathbf{x}$。

另外，在李航《统计学方法》中，$N$表示样本数,$n$表示特征维度；而周志华《机器学习》以及吴恩达《机器学习》中，$m$表示样本数,$d$表示特征维度。如果符号混乱，注意区分。

定义(逻辑斯蒂回归模型) 二项逻辑斯蒂回归模型是入下的条件概率分布：
$$P(Y=1|\mathbf{x})=\frac{1}{1+e^{-(\mathbf{w}\cdot \mathbf{x}+b)}}=\frac{e^{\mathbf{w}\cdot \mathbf{x}+b}}{1+e^{\mathbf{w}\cdot \mathbf{x}+b}}$$
$$P(Y=0|\mathbf{x})=1-P(Y=1|\mathbf{x})=\frac{1}{1+e^{\mathbf{w}\cdot \mathbf{x}+b}}$$
这里，$\mathbf{x}\in {\mathbb{R}}^n$是输入， Y ∈ { 0 , 1 } Y \in\{0,1\} Y∈{0,1}是输出，$\mathbf{w}\in {\mathbf{R}}^n$和$b\in \mathbf{R}$是参数，$\mathbf{w}$称为权值向量，$b$称为偏置，$\mathbf{w}\cdot \mathbf{x}$是$\mathbf{w}$和$b$的内积。

对于给定的实例$x$，

若 $P(Y=1|\mathbf{x})>P(Y=0|\mathbf{x})$, 则属于$Y=1$的类；

若 $P(Y=1|\mathbf{x})<P(Y=0|\mathbf{x})$, 则属于$Y=0$的类.

为了便于表达，将权重向量和输入向量加以扩充，仍然记作$\mathbf{w},\mathbf{x}$，即 $\mathbf{w}=\left[\begin{array}{c}{w}^{(1)}\\ w^{(2)}\\ ⋮\\ w^{(n)}\\ b\end{array}\right]$， $\mathbf{x}=\left[\begin{array}{c}{x}^{(1)}\\ x^{(2)}\\ ⋮\\ x^{(n)}\\ 1\end{array}\right]$, 其中$$\mathbf{w}\cdot \mathbf{x}=w^{(1)}{x}^{(1)}+w^{(2)}{x}^{(2)}+...+w^{(n)}{x}^{(n)}+b$$

这时，逻辑斯蒂回归模型如下：
$$P(Y=1|\mathbf{x})=\frac{1}{1+e^{-(\mathbf{w}\cdot \mathbf{x})}}=\frac{e^{\mathbf{w}\cdot \mathbf{x}}}{1+e^{\mathbf{w}\cdot \mathbf{x}}}$$
$$P(Y=0|\mathbf{x})=1-P(Y=1|\mathbf{x})=\frac{1}{1+e^{\mathbf{w}\cdot \mathbf{x}}}$$

一个事件的几率(odds)是指该事件发生的概率与该事件不发生概率的比值，如果事件发生概率为$p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率(log odds)或者logit(对它取log，即 log it)函数是：
$$\mathrm{logit}(p)=\log \frac{p}{1-p}$$
对逻辑斯蒂回归而言，由上面的式子$P(Y=1|\mathbf{x})$和$P(Y=0|\mathbf{x})$可得
$$\begin{array}{rl}\log \frac{P(Y=1|x)}{1-P(Y=1|x)}& =\log \frac{\frac{e^{w\cdot x}}{1+e^{\mathbf{w}\cdot x}}}{\frac{1}{1+e^{w\cdot x}}}\\ & =\log \frac{e^{\mathbf{w}\cdot \mathbf{x}}}{1}\\ & =\log e^{\mathbf{w}\cdot \mathbf{x}}\\ & =\mathbf{w}\cdot \mathbf{x}\end{array}$$

这就是说，在逻辑斯蒂回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数，或者说，输出$Y=1$的对数几率是由输入$x$的线性函数表示的模型，即逻辑斯蒂回归模型。

换一个角度看，考虑对输入$x$进行分类的线性函数$\mathbf{w}\cdot \mathbf{x}$,其值域$\mathbf{w}\cdot \mathbf{x}\in \mathbf{R}$，这里$\mathbf{x}\in {\mathbf{R}}^{n+1},\mathbf{w}\in {\mathbf{R}}^{n+1}$。通过逻辑斯蒂回归定义式可以将线性函数$\mathbf{w}\cdot \mathbf{x}$转化为概率：
$$P(Y=1|\mathbf{x})=\frac{1}{1+e^{-(\mathbf{w}\cdot \mathbf{x})}}=\frac{e^{\mathbf{w}\cdot \mathbf{x}}}{1+e^{\mathbf{w}\cdot \mathbf{x}}}$$

这时候，

当线性函数的值$z=\mathbf{w}\cdot \mathbf{x}\to +\infty$，则$P(Y=1|\mathbf{x})\to 1$；

当线性函数的值$z=\mathbf{w}\cdot \mathbf{x}\to -\infty$，则$P(Y=1|\mathbf{x})\to 0$。

【补充说明】

在上一章的线性回归中提到，线性回归使用的是平方损失：
$$\begin{array}{rl}Los{s}_{(\omega ,b)}=E_{(\omega ,b)}& =\frac{1}{2m}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2\\ & =\frac{1}{2m}\sum _{i=1}^m{\left(y_i-\omega x_i-b\right)}^2\end{array}$$

因为这个函数$Los{s}_{(\omega ,b)}$是凸函数，直接可以通过求导等于零，来直接求出其解析解，比较简单。

对于逻辑回归而言，其中Sigmoid函数
$$\begin{array}{rl}f(x)=\sigma (z)& =\frac{1}{1+e^{-z}}\\ & =\sigma (\mathbf{w}\cdot \mathbf{x})\\ & =\frac{1}{1+e^{-\mathbf{w}\cdot \mathbf{x}}}\end{array}$$
如下图所示.

如果逻辑回归的损失函数也用平方损失函数，则有：
$$\begin{array}{rl}Los{s}_{(\mathbf{w})}=E_{(\mathbf{w})}& =\frac{1}{2m}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2\\ & =\frac{1}{2m}\sum _{i=1}^m{\left(y_i-\sigma (z)\right)}^2\\ & =\frac{1}{2m}\sum _{i=1}^m{\left(y_i-\sigma (\mathbf{w}\cdot \mathbf{x})\right)}^2\\ & =\frac{1}{2m}\sum _{i=1}^m{\left(y_i-\frac{1}{1+e^{-(\mathbf{w}\cdot \mathbf{x})}}\right)}^2\end{array}$$

但是问题在于上式是非凸的，不能直接求出其解析解，而且不易优化，易陷入局部最小,即使使用梯度下降也很难寻找到全局最小值。
如下图所示：

所以下文采取了其他办法来优化，可以得到凸函数，能够求得最优解。

3.1.3 模型参数估计

逻辑斯蒂回归模型学习时，对于给定的训练集数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \cdots,\left(\boldsymbol{x}_{N}, y_{N}\right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},其中 x i = [ x i ( 1 ) x i ( 2 ) ⋮ x i ( n ) ] ∈ R n , y i ∈ { 0 , 1 } \boldsymbol{x}_{i}=\left[\begin{array}{c}{x_{i}^{(1)}} \\ {x_{i}^{(2)}} \\ {\vdots} \\ {x_{i}^{(n)}}\end{array}\right] \in \mathbf{R}^{n}, \quad y_{i} \in\{0,1\} xi​=⎣⎢⎢⎢⎢⎡​xi(1)​xi(2)​⋮xi(n)​​⎦⎥⎥⎥⎥⎤​∈Rn,yi​∈{0,1}，可以应用极大似然估计法估计模型参数，从而得到逻辑斯蒂回归模型。
设：
$$P(Y=1|\mathbf{x})=\pi (\mathbf{x}),P(Y=0|\mathbf{x})=1-\pi (\mathbf{x})$$
似然函数为
$$\prod _{i=1}^N{\left[\pi \left({\mathbf{x}}_i\right)\right]}^{y_i}{\left[1-\pi \left({\mathbf{x}}_i\right)\right]}^{1-y_i}$$

对数似然函数为
$$\begin{array}{rl}L(w)& =\log \left[\prod _{i=1}^N{\left[\pi \left({\mathbf{x}}_i\right)\right]}^{y_i}{\left[1-\pi \left({\mathbf{x}}_i\right)\right]}^{1-y_i}\right]\\ & =\sum _{i=1}^N\left[y_i\log \pi \left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left({\mathbf{x}}_i\right)}{1-\pi \left({\mathbf{x}}_i\right)}+\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i\right)-\log \left(1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}\right)\right]\end{array}$$
接下来求$L(w)$的极大值，从而得到$w$的估计值。

这样一来，问题就变成了以对数似然函数为目标函数的最优化问题，逻辑斯蒂回归中通常的方法就是梯度下降法和拟牛顿法。

假设$w$的极大似然估计值是$\hat{\mathbf{w}}$,那么学习到的逻辑斯蒂回归模型为

$$P(Y=1|\mathbf{x})=\frac{1}{1+e^{-(\hat{\mathbf{w}}\cdot \mathbf{x})}}=\frac{e^{\hat{\mathbf{w}}\cdot \mathbf{x}}}{1+e^{\hat{\mathbf{w}}\cdot \mathbf{x}}}$$
$$P(Y=0|\mathbf{x})=1-P(Y=1|\mathbf{x})=\frac{1}{1+e^{\hat{\mathbf{w}}\cdot \mathbf{x}}}$$

【补充说明】

上面的 $L(w)$ 中，需要求似然函数的极大值，即求
$$\begin{array}{rl}L(w)& =\log \left[\prod _{i=1}^N{\left[\pi \left({\mathbf{x}}_i\right)\right]}^{y_i}{\left[1-\pi \left({\mathbf{x}}_i\right)\right]}^{1-y_i}\right]\\ & =\sum _{i=1}^N\left[y_i\log \pi \left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\end{array}$$
的极大值，即求得
$$\begin{array}{rl}\hat{\mathbf{w}}& =\underset{\mathbf{w}}{\mathrm{argmax}}\sum _{i=1}^N\left[y_i\log \pi \left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\end{array}$$
其中$\hat{\mathbf{w}}$是$w$的极大似然估计值，即优化参数所得的结果。把上式的似然函数再取个相反数，即
$$\begin{array}{rl}\hat{\mathbf{w}}& =\underset{\mathbf{w}}{\mathrm{argmin}}\sum _{i=1}^N\left[-y_i\log \pi \left({\mathbf{x}}_i\right)-\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\end{array}$$

使得上式右边取到极小值的$\hat{\mathbf{w}}$即优化目标的参数。

再对所有样本取平均损失，可得到逻辑回归的损失函数：
$$\begin{array}{rl}L(\mathbf{w})& =\frac{1}{N}\sum _{i=1}^N\left[-y_i\log \pi \left({\mathbf{x}}_i\right)-\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[y_i\log \pi \left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)\right]\end{array}$$

上式这个损失函数即常见的逻辑回归的损失函数，可见它是从极大似然推导出来的。
并且这个损失函数$L(\mathbf{w})$是凸函数，没有局部最优解，便于优化。

并且可得损失
$$L(\mathbf{w})=\{\begin{array}{rl}-\log \left(\pi \left({\mathbf{x}}_i\right)\right)& \text{ if }y=1\\ -\log \left(1-\pi \left({\mathbf{x}}_i\right)\right)& \text{ if }y=0\end{array}$$
其中
$$\pi \left({\mathbf{x}}_i\right)=P(Y=1|\mathbf{x})=\frac{e^{\mathbf{w}\cdot \mathbf{x}}}{1+e^{\mathbf{w}\cdot \mathbf{x}}}=\frac{1}{1+e^{-(\mathbf{w}\cdot \mathbf{x})}}$$

以下是直观的理解：

当类别标签为$y=1$时，越靠近$1$则损失越小；当类别标签为$y=0$时，越靠近$1$则损失越大；

3.1.4 多项逻辑斯蒂回归模型(multi-nominal logistic regression model)

上面的二项逻辑斯蒂回归用于二分类问题，接下来的多项逻辑斯蒂回归(multi-nominal logistic regression model)用于多分类问题。

假设离散型随机变量$Y$的取值集合是 { 1 , 2 , ⋯   , K } \{1,2, \cdots, K\} {1,2,⋯,K}，即类别标签有$K$类，那么类似的，多项逻辑斯蒂回归模型是
$$\begin{array}{rl}P(Y=k|\mathbf{x})& =\frac{e^{{\mathbf{w}}_k\cdot \mathbf{x}}}{1+{\sum }_{k=1}^{K-1}{e}^{{\mathbf{w}}_k\cdot \mathbf{x}}},k=1,2,\cdots ,K-1\\ P(Y=K|\mathbf{x})& =\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{{\mathbf{w}}_k\cdot \mathbf{x}}}\end{array}$$
这里, $\mathbf{x}\in {\mathbf{R}}^{n+1},{\mathbf{w}}_k\in {\mathbf{R}}^{n+1}$

二项逻辑斯蒂回归的参数估计法也可以推广到多项逻辑斯蒂回归中。

3.2 逻辑回归的梯度下降算法

【说明】
本文仅对二项逻辑回归运用梯度下降算法，多项逻辑回归以此类推。

上文已经提到，由于类比线性回归那样，直接采用平方损失的话，由于$\sigma$函数的非线性，会导致这个损失函数是非凸的,所以采用了极大似然估计来推其另一种形式的损失函数，这种由极大似然估计推导出来的损失函数即常见的交叉熵损失函数(Cross Entropy loss )。

由上面已经得到二项逻辑回归的损失函数，接下来利用梯度下降法进行优化求解。
其中，$\mathbf{w}=\left[\begin{array}{c}{w}^{(1)}\\ w^{(2)}\\ ⋮\\ w^{(n)}\\ b\end{array}\right]$，${\mathbf{x}}_i=\left[\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(n)}\\ 1\end{array}\right]$，下标表示样本数，上标表示特征维度。梯度下降法如下：
$$\begin{array}{rl}\text{Repeat}& \{w_j:=w_j-\alpha \frac{\partial L(\mathbf{w})}{\partial w_j}\\ & (\text{simultaneously(同时) update all}{w}_j)\\ & \}\end{array}$$

交叉熵损失函数
$$L(\mathbf{w})=-\frac{1}{N}\sum _{i=1}^N\left[y_i\log f\left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-f\left({\mathbf{x}}_i\right)\right)\right]$$
其中，预测类别标签为$Y=1$的概率$P(Y=1|\mathbf{x})$，或者说是预测的输出$f(x_i)$(一般真实的类别标签用$y_i$表示)
$$P(Y=1|\mathbf{x})=f\left(x_i\right)=\frac{1}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}}$$
所以
$$\begin{array}{rl}& y_i\log f\left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-f\left({\mathbf{x}}_i\right)\right)\\ =& y_i\log \left(\frac{1}{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)+\left(1-y_i\right)\log \left(1-\frac{1}{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)\\ =& -y_i\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)+\left(1-y_i\right)\log \left(\frac{e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)\\ =& -y_i\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)-\left(1-y_i\right)\log \left(\frac{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}{e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)\\ =& -y_i\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)-\left(1-y_i\right)\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)\\ =& -y_i\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)-\left(1-y_i\right)\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)\end{array}$$
所以
$$\begin{array}{rl}\frac{\partial L(\mathbf{w})}{\partial w_i}& =\frac{\partial }{\partial w_i}\left\{-\frac{1}{N}\sum _{i=1}^N\left[y_i\log f\left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-f\left({\mathbf{x}}_{\mathbf{i}}\right)\right)\right]\right\}\\ & =\frac{\partial }{\partial w_i}\left\{-\frac{1}{N}\sum _{i=1}^N\left[-y_i\log \left(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}\right)-\left(1-y_i\right)\log \left(1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}\right)\right]\right\}\\ & =-\frac{1}{N}\sum _{i=1}^N\left[-y_i\left(\frac{-x_i^{(j)}{e}^{-\mathbf{w}\cdot {\mathbf{x}}_i}}{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)-\left(1-y_i\right)\left(\frac{{\mathbf{x}}_i^{(j)}{\mathbf{e}}^{\mathbf{w}\cdot {\mathbf{x}}_i}}{1+{\mathbf{e}}^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right)\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[y_i\left(\frac{x_i^{(j)}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right)-\left(1-y_i\right)\left(\frac{x_i^{(j)}{e}^{\mathbf{w}\cdot {\mathbf{x}}_i}}{1+{\mathbf{e}}^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right)\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[\frac{y_i{x}_i^{(j)}-x_i^{(j)}{e}^{\mathbf{w}\cdot {\mathbf{x}}_i}+y_i{x}_i^{(j)}{e}^{\mathbf{w}\cdot {\mathbf{x}}_i}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[\left(\frac{y_i\left(1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}\right)-e^{\mathbf{w}\cdot {\mathbf{x}}_i}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right)x_i^{(j)}\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[\left(y_i-\frac{e^{\mathbf{w}\cdot {\mathbf{x}}_i}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i}}\right)x_i^{(j)}\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[\left(y_i-\frac{1}{1+e^{-\mathbf{w}\cdot {\mathbf{x}}_i}}\right)x_i^{(j)}\right]\\ & =-\frac{1}{N}\sum _{i=1}^N\left[\left(y_i-f\left({\mathbf{x}}_i\right)\right)x_i^{(j)}\right]\\ & =\frac{1}{N}\sum _{i=1}^N\left[f\left({\mathbf{x}}_i\right)-\left(y_i\right)x_i^{(j)}\right]\end{array}$$

所以梯度下降法如下：
$$\begin{array}{rl}\text{Repeat}& \{w_j:=w_j-\alpha \frac{1}{N}\sum _{i=1}^N\left[f\left({\mathbf{x}}_i\right)-\left(y_i\right)x_i^{(j)}\right]\\ & (\text{simultaneously(同时) update all}{w}_j)\\ & \}\end{array}$$

【注】
：虽然得到的梯度下降算法表面上看与线性回归的梯度下降算法一样，但是这里的$f(x)=g(\mathbf{w}\cdot \mathbf{x})=\sigma (\mathbf{w}\cdot \mathbf{x})$是非线性的，与线性回归实际上是不一样的。另外，在运行梯度下降算法时，进行特征缩放是必要的，这个在后续再行补充。

参考

1.李航《统计学方法》
2.周志华《机器学习》
3.吴恩达《机器学习》课程

推荐阅读

交叉熵损失(Cross-entropy)和平方损失(MSE)究竟有何区别？

超详细｜算法岗学习路线大总结