机器学习：线性模型

基本形式

一般向量形式为： $f(x)=w^{T}x+b$
其中，$w$ 表示了 $x$ 的重要性，称为权重。

线性回归 linear regression

线性回归学习一个线性模型来预测输出.
即, 在一个数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } D=\{(x_1, y_1),(x_2,y_2),...,(x_n,y_n)\} D={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)} 中，对第 $i$ 个样本有

$$f(x_i)=w^T{x}_i+b$$使
$$f(x_i)\approx y_i$$

优化

为了让 $f(x_i)\approx y_i$，就要使二者的差别减小，他们之间的差别用均方误差计算，均方误差对应欧几里得距离。
线性回归问题就转化为求解最小化 $f(x_i)$ 与 $y_i$ 的均方误差。
基于均方误差最小化进行模型求解的方法成为最小二乘法（least square method）。
最小二乘法：
在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上的欧氏距离之和最小。
$$error=\sum _{i=0}^n||f(x_i)-y_i|{|}_2=\sum _{i=0}^n||w^T{x}_i+b-y_i|{|}_2$$当
$$\begin{gathered} \frac{\partial error}{\partial w}=2\sum _{i=1}^n(w{x}_i^2-(y_i-b)x_i)=0 \\ \frac{\partial error}{\partial b}=2\sum _{i=1}^n(w{x}_i+b-y_i)=0 \end{gathered}$$就可求得 $w$ 和 $b$ ，推导过程如下：
$$\begin{gathered} w\sum _{i=1}^m{x}_i^2=\sum _{i=1}^m(y_i-b)x_i(1) \\ mb=\sum _{i=1}^m(y_i-w{x}_i)(2) \end{gathered}$$

1. 首先由 $mb={\sum }_{i=1}^m(y_i-w{x}_i)$ 得到：
   $b=\frac{1}{m}{\sum }_{i=1}^m(y_i-w{x}_i)$

   $=\frac{1}{m}{\sum }_{i=1}^m{y}_i-\frac{1}{m}{\sum }_{i=1}^{m}w{x}_i$

   $=\bar{y}-w\bar{x}$

2. 将 $b=\bar{y}-w\bar{x}$ 带入 (1) 式：
   $w{\sum }_{i=1}^m{x}_i^2={\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^{m}b{x}_i$

   $={\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^m(\bar{y}-w\bar{x})x_i$

   $={\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i+w\bar{x}{\sum }_{i=1}^m{x}_i$

   则，
   $w{\sum }_{i=1}^m{x}_i^2-w\bar{x}{\sum }_{i=1}^m{x}_i={\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i$

   $w({\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i)={\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i$

   得到，$$w=\frac{{\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i}{({\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i)}(3)$$其中 $\bar{y}=\frac{1}{m}{\sum }_{i=1}^m{y}_i$，因此 $$\bar{y}\sum _{i=1}^m{x}_i=\frac{1}{m}\sum _{i=1}^m{y}_i\sum _{i=1}^m{x}_i=\bar{x}\sum _{i=1}^m{y}_i(4)$$又因为 $\bar{x}={\sum }_{i=1}^m{x}_i$，因此
   $$\bar{x}\sum _{i=1}^m{x}_i=\frac{1}{m}\sum _{i=1}^m{x}_i\sum _{i=1}^m{x}_i=\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2(5)$$(4)，(5)带入(3)得
   $$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

对数线性回归

当输出是在指数尺度上变化时，
$$lny=w^{T}x+b$$则$$y=e^{w^{T}x+b}$$这就变成了输入到输出的非线性映射，$ln(\cdot )$ 将线性回归模型的预测值与真实标记联系起来。

对数几率回归

在二分类任务中，输出为 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}, 需要将线性回归模型产生结果转为0/1。
这里引入对数几率函数，这是一种常见的sigmoid函数。

公式为：
$$y=\frac{1}{1+e^{-z}},z=w^T+b$$因此，
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$然而线性回归的一般形式为：
$$f(x)=w^T+b$$则$$ln\frac{y}{1-y}=w^T+b$$简单证明一下上式：

$y=\frac{1}{1+e^{-(w^{T}x+b)}}=\frac{e^{(w^{T}x+b)}}{e^{(w^{T}x+b)}+1}$

$1-y==\frac{1}{e^{(w^{T}x+b)}+1}$

$\frac{y}{1-y}=e^{(w^{T}x+b)}$，两边分别取对数就得到结论。

我们假设 $y$ 为样本 $x$ 是正例的概率，则 $1-y$ 为反例的概率，二者的比值为：
$$\frac{y}{1-y}$$