线性模型-机器学习

一、线性回归模型

1.1 普通线性回归模型

本质：根据现有的数据，找出自变量和因变量的关系，估计一个函数的过程。线性回归模型是有监督学习问题。

给定样本$\vec{\mathrm{x}}=({\mathrm{x}}_1,{\mathrm{x}}_2,...,{\mathrm{x}}_d)$，线性模型通过试图学习属性的线性组合来进行函数的预测。

$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
写成向量的形式：
$$f(x)=w^{\mathrm{T}}x+b$$

1.1.1 输入输出

输入： D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } {\rm{D = \{ (}}{{\rm{x}}_1}{\rm{,}}{{\rm{y}}_1}{\rm{), (}}{{\rm{x}}_2}{\rm{,}}{{\rm{y}}_2}{\rm{), }}...{\rm{ , (}}{{\rm{x}}_m}{\rm{,}}{{\rm{y}}_m}{\rm{)\} }} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}

输出：$\mathrm{w}=({\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_m)$和b

1.1.2 算法流程

线性回归模型试图学习：
$$f(x_i)=w^{\mathrm{T}}{x}_i+b,使得f(x_i)\approx y_i$$

最简单的方法是采用均方误差最小化的形式来进行求解：
$$E_{(w,b)}=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{(f(x_i)-y_i)}^2$$

其本质是试图找到一根直线，使得所有样本到该直线的欧式距离之和最小。

方法一：

• 将均方误差分别对w和b求导：
  $$E_{(w,b)}=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{(f(x_i)-y_i)}^2=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{(y_i-w^{\mathrm{T}}{x}_i-b)}^2$$
  得到：
  $$\begin{array}{l}\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\\ \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)\end{array}$$

• 令上述公式等于0，可得到：
  $$\begin{array}{l}\mathrm{w}=\frac{\sum _{i=1}^m{y}_i(x_i-\bar{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}{\left(\sum _{i=1}^m{x}_i\right)}^2}\\ \mathrm{b}=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)\end{array}$$
  其中$\bar{x}=\frac{1}{m}\times \sum _{i=1}^m{x}_i$为x的均值。:

方法二（采用矩阵的计算方式）：

• 数据写成矩阵的形式：
  $$\left[\begin{array}{l}{y}_1\\ y_2\\ ...\\ y_m\end{array}\right]=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& 1\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}\right]\left[\begin{array}{l}{w}_1\\ ...\\ w_d\\ b\end{array}\right]$$

令：
$$\vec{y}=(y_1,y_2,...,y_m)$$

$$\overrightarrow{x}=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& 1\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}\right]$$

$${\overrightarrow{\stackrel{~}{w}}}^{\ast }=\left[\begin{array}{l}{w}_1\\ ...\\ w_d\\ b\end{array}\right]$$

采用均方误差最小化的形式来进行求解(也称为“最小二次乘法”)：
$${\overrightarrow{\stackrel{~}{w}}}^{\ast }=\text{arg}\underset{\overrightarrow{\stackrel{~}{w}}}{\min }{\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)}^T\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)$$

维度分析：[(m,1)-(m,d+1)X(d+1,1)]TX[(m,1)-(m,d+1)X(d+1,1)]=(1,1)

令$E_{\overrightarrow{\stackrel{~}{w}}}={\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)}^T\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)$，求它的极小值。对$\overrightarrow{\stackrel{~}{w}}$求导，可得：
$$\frac{\partial {\text{E}}_{\overrightarrow{\stackrel{~}{w}}}}{\partial \overrightarrow{\stackrel{~}{w}}}=2{\vec{x}}^{\text{T}}\left(\vec{x}\overrightarrow{\stackrel{~}{w}}-\vec{y}\right)$$
令导数等于0，可得：
$${\overrightarrow{\stackrel{~}{w}}}^{\ast }=\text{(}{\vec{x}}^{\text{T}}\vec{x}{\text{)}}^{-1}{\vec{x}}^{\text{T}}\vec{y}$$

• $({\vec{x}}^{\mathrm{T}}\vec{x}{)}^{-1}$为满秩矩阵时，有唯一解：
  $${\overrightarrow{\stackrel{~}{w}}}^{\ast }=\text{(}{\vec{x}}^{\text{T}}\vec{x}{\text{)}}^{-1}{\vec{x}}^{\text{T}}\vec{y}$$

• $({\vec{x}}^{\mathrm{T}}\vec{x}{)}^{-1}$不是满秩矩阵时，存在多个解。常用的做法是引入正则项，来确定最优解：
  $${\overrightarrow{\stackrel{~}{w}}}^{\ast }=\text{arg}\underset{\overrightarrow{\stackrel{~}{w}}}{\min }\left[{\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)}^T\left(\vec{y}-\vec{x}\overrightarrow{\stackrel{~}{w}}\right)+\mathbf{\lambda }\Vert \overrightarrow{\stackrel{~}{w}}{\Vert }_2^2\right]$$
  最终得到数学模型：
  $$f\left({\overrightarrow{\stackrel{~}{x}}}_i\right)={\overrightarrow{\stackrel{~}{x}}}_i^T{\overrightarrow{\stackrel{~}{w}}}^{\ast }$$

1.1.3 代码实现

Python代码:

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
# 1、随机生成数据-----------------------------------------------------
# 随机生成100行1列的样本，取值范围是2*[0,1)
X = 2 * np.random.rand(100,1)
#从标准正态分布中返回一个或多个样本值。取值主要在-1.96~+1.96之间
Y = 4 + 3 * 2 *  X + np.random.randn(100,1)
print(np.array(X).shape, X)
#散点图
font = FontProperties(fname=r"C:\Windows\Fonts\simhei.ttf", size=14)
plt.figure()    # 定义一个图像窗口
plt.title(u'线性回归模型', FontProperties=font)
plt.scatter(X, Y)

# 2、根据最小二乘法计算 theta和b--------------------------------------
X_b = np.c_[X, np.ones((100, 1 ))]
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)

print(theta_best)
resX = [0,2]
resY = [resX[0]*theta_best[0]+theta_best[1],resX[1]*theta_best[0]+theta_best[1]]
#告诉它两个点就行
plt.plot(resX, resY) # 绘制曲线 y1
plt.show()

结果：

1.2 广义线性回归模型

考虑单调可导函数h(y)，令$h(Y)=W^T\mathrm{X}+\mathrm{b}$，这样得到的模型称为广义线性模型(generalized linear model)。

广义线性模型的一个典型的例子就是对数线性回归。当 h(·) = In(·) 时的广义线性模型就是对数线性回归，即：
$$\mathrm{I}\mathrm{n}(Y)=W^T\mathrm{X}+\mathrm{b}$$
它是通过$e^{W^T\mathrm{X}+\mathrm{b}}$拟合y的。 它虽然称为广义线性回归，但实质上是非线性的。

二、 逻辑回归模型

2.1 Sigmod函数

对于二分类问题，我们需要对普通的线性分类模型进行改进。Sigmod函数：
$$y=\frac{1}{1+e^{-z}}(z={\mathrm{W}}^{T}X+b)$$

上式可变化为：
$$\ln \frac{y}{1-y}={\mathrm{W}}^{T}X+b$$
若将式(2-2) 中的 视为类 后验概率估计 p(y = 1 | x) 则式上式可重写为：
$$\ln \frac{p(y=1|x)}{p(y=0|x)}={\mathrm{W}}^{T}X+b$$
显然有：
$$\begin{array}{l}p(y=1|x)=\frac{e^z}{1+e^z}=\pi (x)\\ p(y=0|x)=\frac{1}{1+e^z}=1-\pi (x)\end{array}$$

2.1.1 输入输出

输入： D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } {\rm{D = \{ (}}{{\rm{x}}_1}{\rm{,}}{{\rm{y}}_1}{\rm{), (}}{{\rm{x}}_2}{\rm{,}}{{\rm{y}}_2}{\rm{), }}...{\rm{ , (}}{{\rm{x}}_m}{\rm{,}}{{\rm{y}}_m}{\rm{)\} }} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}，其中 y ∈ { 0 , 1 } y \in {\rm{\{ 0,1\} }} y∈{0,1}

输出：$\mathrm{w}=({\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_m)$ 和b

2.1.2 算法流程

• 试图学习模型：
  $$\hat{\mathrm{y}}=\frac{1}{1+e^{-z}}(z=W^{T}X+b)$$
  使得${\hat{y}}_i(预测值)\approx y_i(真实值)$

  其中：
  $$\begin{array}{l}p(y=1|x)=\frac{e^z}{1+e^z}=\pi (x)\\ p(y=0|x)=\frac{1}{1+e^z}=1-\pi (x)\end{array}$$

• 此时需要采用极大似然估计来进行求解，似然函数为（似然函数最大化）：
  $$\prod {\left[\pi (x)\right]}^{{\mathrm{y}}_i}{\left[1-\pi (x)\right]}^{1-{\mathrm{y}}_i}$$
  对数似然为：
  $$L(w)=\sum _{i=1}^N{y}_i\log \pi (x_i)+(1-y_i)\log \left[1-\pi (x_i)\right]$$

2.1.3 损失函数

y是真实值， $\hat{y}$为预测值：

$$损失函数：L(\hat{y},y)=-y\log \hat{y}-(1-y)\log (1-\hat{y})$$
$$代价函数：\frac{1}{N}\sum _{i=1}^{N}L({\hat{y}}_i,y_i)$$

2.1.4 使用梯度下降算法求解逻辑回归问题

假设有如下关系的逻辑回归函数：

其中y是真实值，$\hat{y}$为预测值。
$$d\hat{y}=\frac{\partial L(\hat{y},y)}{\partial \hat{y}}=-\frac{y}{\hat{y}}+\frac{1-y}{1-\hat{y}}$$

$$d\mathrm{z}=\frac{\partial L(\hat{y},y)}{\partial z}=\frac{\partial L(\hat{y},y)}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial z}=d\hat{y}(1-\hat{y})\hat{y}=(-\frac{y}{\hat{y}}+\frac{1-y}{1-\hat{y}})(1-\hat{y})\hat{y}=\hat{y}-y$$

对m个样本进行SDG，使用mini-batch需要除以m：
$$d{\mathrm{w}}_1=\frac{\partial L(\hat{y},y)}{\partial z}\frac{\partial z}{\partial {\mathrm{w}}_1}=\frac{1}{\mathrm{m}}\sum _i^m{x}_1^i({\hat{y}}^i-y^i)$$

$$d{\mathrm{w}}_2=\frac{\partial L(\hat{y},y)}{\partial z}\frac{\partial z}{\partial {\mathrm{w}}_2}=\frac{1}{\mathrm{m}}\sum _i^m{x}_2^i({\hat{y}}^i-y^i)$$

$$db=\frac{\partial L(\hat{y},y)}{\partial z}\frac{\partial z}{\partial d}=\frac{1}{\mathrm{m}}\sum _i^m({\hat{y}}^i-y^i)$$

最后更新参数，其中$\alpha$表示SGD的步长：

$$\begin{array}{l}{\mathrm{w}}_1=w_1-\alpha d{w}_1\\ {\mathrm{w}}_2=w_1-\alpha d{w}_2\\ b=b-\alpha db\end{array}$$

三、线性回归和逻辑回归的区别

1. 线性回归用来预测，逻辑回归用来分类；
2. 线性回归是拟合函数，逻辑回归是预测函数；
3. 线性回归的参数计算方法是最小二乘法，逻辑回归的参数计算方法是梯度下降；
4. 线性回归要求因变量是连续性数值变量，逻辑回归要求因变量是离散变量；
5. 线性回归要求自变量和因变量呈线性关系，逻辑回归不要求自变量和因变量呈线性关系；
6. 线性回归可以直观的表示因变量与自变量的关系，逻辑回归表示自变量取某值的概率；
7. 线性回归要求变量服从正态分布，逻辑回归对变量分布没有要求。

四、线性判别分析（LDA）

线性判别分析(Linear Discriminant Analysis, 简称LDA)是一种经典的线性学习方法。

LDA的思想非常朴素．给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离，在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位宜来确定新样本的类别。