机器学习——逻辑回归(Logistic Regression)

算法描述：

Logistic Regression Algorithm
初始化${\omega }_0$ For $t=0,1,2,\cdots$       1.计算梯度方向：                         $\nabla E_{in}({\omega }_t)=\frac{1}{N}\sum _{n=1}^N\theta (-y_n{\omega }_t^T{x}_n)(-y_n{x}_n)$       2.更新：                         ${\omega }_{t+1}\leftarrow {\omega }_t-\eta \nabla E_{in}({\omega }_t)$ Until $\nabla E_{in}({\omega }_{t+1})=0$，或者足够的次数

这里的目标函数：$f(x)=P(+1|x)\in \left[0,1\right]$ ，用于二分类，则当$f(x)>0.5$ ，为+1；当$f(x)<0.5$ ，为-1。

计算过程：

---

Logistic Function:

$$\theta (s)=\frac{e^s}{1+e^s}=\frac{1}{1+e^{-s}}$$

图像如下，

该函数的特性：

• 定义域$(-\infty ,+\infty )$
• 值域$(0,1)$
• 在定义域内是smooth,monotonic,sigmiod的
• $\theta (s)=1-\theta (-s)$
• $\frac{d\theta (s)}{ds}=\theta (s)(1-\theta (s))$

---

logistic函数用在逻辑回归里为，
$$h(x)=\frac{1}{1+\exp (-{\omega }^{T}x)}$$

下面根据极大似然原理(Maximum Likelihood) 来计算逻辑回归的参数更新式。

现有目标函数如下，
$$f(x)=P(+1|x)\iff P(y|x)=\{\begin{array}{l}f(x)fory=+1\\ 1-f(x)fory=-1\end{array}$$

假设现在有资料集 D = { ( x 1 , ◯ ) , ( x 2 , × ) , ⋯ &ThinSpace; , ( x N , × ) } D = \{ ({x_1},\bigcirc ),({x_2}, \times ), \cdots ,({x_N}, \times )\} D={(x1​,◯),(x2​,×),⋯,(xN​,×)}。

则通过h产生数据集D的可能性为：
$$P(x_1)h(x_1)\times P(x_2)(1-h(x_2))\times \cdots \times P(x_N)(1-h(x_N))$$

通常由目标函数f产生数据集D的概率是很大的 (极大似然的思想)，当$h\approx f$时，由h产生D的概率也是非常大的，即，
$$g\approx \underset{h}{\mathrm{argmax}}likelihood(h)$$

这里$h(x)=\theta ({\omega }^{T}x)$，又有$1-h(x)=h(-x)$，所以，
$$\begin{array}{l}likelihood(h)=P(x_1)h(x_1)\times P(x_2)(1-h(x_2))\times \\ \cdots \times P(x_N)(1-h(x_N))\\ =P(x_1)h(x_1)\times P(x_2)h(-x_2)\times \\ \cdots \times P(x_N)h(-x_N)\\ =P(x_1)h(y_1{x}_1)\times P(x_2)h(y_2{x}_2)\times \\ \cdots \times P(x_N)h(y_N{x}_N)\end{array}$$

对于每个不同的h而言，$P(x_i)$都是不变的，那么就有，
$$likelihood(h)\propto \prod _{n=1}^{N}h(y_n{x}_n)$$

用$\omega$表示h，有，
$$\underset{\omega }{\max }likelihood(h)\propto \prod _{n=1}^N\theta (y_n{\omega }^T{x}_n)$$

取对数 (变连乘为连加)，加负号 (变最大化为最小化)，再取均值，有，
$$\begin{array}{l}\underset{\omega }{\min }\frac{1}{N}\sum _{n=1}^N-\ln \theta (y_n{\omega }^T{x}_n)\\ =\underset{\omega }{\min }\frac{1}{N}\sum _{n=1}^N\ln (1+\exp (-y_n{\omega }^T{x}_n))\\ =\underset{\omega }{\min }\frac{1}{N}\underset{E_{in}(\omega )}{\underbrace{\sum _{n=1}^{N}err(\omega ,x_n,y_n)}}\end{array}$$

上式，就是逻辑回归里的误差衡量方式——交叉熵误差(Cross-Entropy Error)，即，
$$err(\omega ,x,y)=\ln (1+\exp (-y\omega x)$$

根据凸函数的最小化原理，令$\nabla E_{in}(\omega )=0$，下面计算梯度，
$$\begin{array}{l}{E}_{in}(\omega )=\frac{1}{N}\sum _{n=1}^N\ln (\underset{\Delta }{\underbrace{1+\exp (\stackrel{◯}{\overbrace{-y_n{\omega }^T{x}_n}})}})\\ \end{array}$$

$$\begin{array}{l}\frac{\partial E_{in}(\omega )}{\partial {\omega }_i}=\frac{1}{N}\sum _{n=1}^N(\frac{\partial \ln (\Delta )}{\partial \Delta })(\frac{\partial (1+\exp (◯))}{\partial ◯})(\frac{\partial -y_n{\omega }^T{x}_n}{\partial {\omega }_i})\\ =\frac{1}{N}\sum _{n=1}^N(\frac{1}{\Delta })(\exp (◯))(-y_n{x}_{n,i})\\ =\frac{1}{N}\sum _{n=1}^N(\frac{\exp (◯)}{1+\exp (◯)})(-y_n{x}_{n,i})\\ =\frac{1}{N}\sum _{n=1}^N\theta ◯(-y_n{x}_{n,i})\end{array}$$

即，
$$\nabla E_{in}(\omega )=\frac{1}{N}\sum _{n=1}^N\theta (-y_n{\omega }^T{x}_n)(-y_n{x}_n)=0$$

上式不存在闭式解（closed-form solution），因为，把这里的$\theta (\cdot )$看作是 $-y_n{x}_n$的权重，则整个梯度式子可看作是以$\theta (\cdot )$为权重的关于$-y_n{x}_n$的加权平均，所以只有当所有的$\theta (\cdot )=0$成立时， $\nabla E_{in}(\omega )=0$。
1.所有$\theta (\cdot )=0$ ，当且仅当$y_n{\omega }^T{x}_n\gg 0$ ，即该数据集线性可分，一旦数据集线性不可分，则上述梯度就不可能为0
2.权重 ：$\theta (\cdot )=0$是关于$\omega$的一个非线性方程，不容易得出闭式解

所以，这里的参数更新采用的是迭代优化解(Iterative Optimization),用梯度下降法求解函数的最小化问题，
$${\omega }_{t+1}\leftarrow {\omega }_t-\eta \nabla E_{in}({\omega }_t)$$

实际应用：

数据特征集D为：
$$x=\underset{(d+1)\times N}{\underbrace{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ x_{11}& x_{21}& \cdots & x{}_{n1}\\ x_{12}& x_{22}& \cdots & x{}_{n2}\\ ⋮& ⋮& ⋮& ⋮\\ x_{1d}& x{}_{2d}& \cdots & x{}_{nd}\end{array}\right]}}$$

对应的标签集为：

$$y=\underset{N\times 1}{\underbrace{\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]}}$$

则梯度的计算如下：

$$\begin{array}{l}A=\underset{1\times N}{\underbrace{\theta (-y_n.\ast (\stackrel{1\times N}{\overbrace{{\omega }^T{x}_n}}))}}\\ b=\underset{(d+1)\times N}{\underbrace{-y_n.\ast x_n}}\end{array}$$

$$\begin{array}{l}\nabla E_{in}(\omega )=\underset{(常数)}{\underbrace{A_1}}\underset{(d+1)\times 1}{\underbrace{b_1}}+A_2{b}_2+\cdots +A_N{b}_N\\ =\underset{(d+1)\times N}{\underbrace{b}}\underset{N\times 1}{\underbrace{\left[\begin{array}{c}{A}_1\\ A_2\\ ⋮\\ A_N\end{array}\right]}}\end{array}$$

实际应用中，一般用线性回归求初值 ，然后再用PLA/pocket/logistic regression等方法，一般logistic regression效果要好于pocket。

随机梯度(Stochastic Gradient Descent, SGD)的使用：

以上计算的梯度的时候，是计算了在所有点处的梯度和然后再平均，这里的平均的概念可以用随机的一个梯度值来近似代替，即，
$${\omega }_{t+1}\leftarrow {\omega }_t+\eta \underset{-\nabla err({\omega }_t,x_n,y_n)}{\underbrace{\theta (-y_n{\omega }_t^T{x}_n)(y_n{x}_n)}}$$

随机梯度的使用体现了一个在线学习思想，即每来一个数据，就可以进行一次参数更新。

Pros: 计算代价低，适合数据量大以及在线学习的场景
Cons: 不稳定。