机器学习系列--线性模型（线性回归、逻辑回归）

一、关于线性模型

线性模型的基本形式：
给定由$d$个属性描述的示例$x=(x_1;x_2;...;x_d)$，其中$x_i$是$x$在第$i$个属性上的取值，线性模型试图学到一个通过属性的线性组合来预测的函数。
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
一般用向量形式写成：
$$f(x)=w^{T}x+b$$
其中$w=(w_1;w_2;...;w_d)$. $w$ 和 $b$是要学习的参数，参数确定之后，模型就得到确定。

问题1：机器学习想做一件什么事？

机器学习是想要通过现有的数据，找到隐藏在事物背后的规律。
而大部分规律是符合线性模型的形式。

问题2 ：什么是线性模型？

线性模型的基本形式为：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$

• 判断是否是线性模型针对的是：权重参数$w$

错误的理解：
（1）线性模型学习出来的流行只能是线性的
（2）线性和非线性的区别是：是否可以用直线将样本划分开
（3）区分是否为线性模型，主要看一个乘法式子中的自变量x

问题3：偏置$b$代表了什么？

l o s s = 1 2 ∑ n = 1 N { y n − b − ∑ j = 1 M − 1 w j ϕ ( X n ) } 2 loss = {1\over 2} \sum_{n=1}^N\{y_n -b- \sum_{j=1}^{M-1}{w_j\phi(X_n)}\}^2 loss=21​n=1∑N​{yn​−b−j=1∑M−1​wj​ϕ(Xn​)}2
$$b=\overline{y}-\sum _{j=1}^{M-1}{w}_j\overline{{\varphi }_j}$$

$$\overline{y}=\frac{1}{N}\sum _{n=1}^N{y}_n$$

$${\overline{\varphi }}_j=\frac{1}{N}\sum _{n=1}^N{\varphi }_j(x_n)$$

偏置$b$补偿了目标值的平均值（在训练集上的）与预测值的平均值的差距。【可以使得数据中可以存在任意固定的偏置】

二、Linear Regression

2.1、求解线性回归的基本思想

• 线性模型的表达式为：$\hat{y}=f(x)=w^{T}x+b$
• 目标是：$f(x)与y(真实值)越接近越好$

问题1：如何衡量$\hat{y}与y$之间的差距？

最直观的理解就是计算$\hat{y}与y$之间的距离。------也就是损失函数，常用的MSE损失（平方差损失），CE损失（交叉熵损失）

（补充）其他的距离计算方式

（1）欧式距离

$$dist(p_i,p_j)=\sqrt{\sum _{k=1}^n(p_{ik}-p_{jk}{)}^2}$$

（2）【最常用】均方差距离

$$dist(p_i,p_j)=\sum _{k=1}^n(p_{ik}-p_{jk}{)}^2$$

（3）【稀疏】曼哈顿距离

$$dist(p_i,p_j)=\sum _{k=1}^n|p_{ik}-p_{jk}|$$

（4）【多维】马氏距离

$$dist(p_i,p_j)=\sqrt{(p_i-p_j{)}^T{s}^{-1}(p_i-p_j)}$$ $$s^{-1}表示协方差矩阵$$

（5）汉明距离
（6）编辑距离

2.2 线性回归的解法

求解$w和b$使$E_{(w,b)}=loss=\frac{1}{2}{\sum }_{i=1}^m(y_i-w_i-b{)}^2$最小化的过程，称为线性回归模型的最小二乘“参数估计”。

$E_{(w,b)}$ 分别对$w和b$求导，得到

$$\frac{d(E_{(w,b)})}{dw}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)$$

$$\frac{d(E_{(w,b)})}{db}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$

令 $\frac{d(E_{(w,b)})}{dw}和\frac{d(E_{(w,b)})}{db}$ 同时为零时，可以得到$w和b$的最优解。

• 一元情况下
  可以得到解析解【通过严格的公式得到的解】：
  $$w^{\ast }=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
  $$b^{\ast }=\frac{1}{m}\sum _{i=1}^m{y}_i-w^{\ast }{x}_i$$
  $其中\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$ 为$x_i$的均值。
• 多元情况下
  
  
  
  
  使用正则化，可以使解唯一：
  $$\begin{gathered} 使用正则化前：w^{\ast }=(x^{T}x{)}^{-1}{x}^{T}y \\ 使用正则化后：w^{\ast }=(x^{T}x+\lambda I{)}^{-1}{x}^{T}y \end{gathered}$$
  $$解释正则化为什么使解唯一\{\begin{array}{l}从矩阵分解\\ 从模型选择\end{array}$$

三、逻辑回归 Logistics Regression

回归问题：$y=w^{T}x+b$

分类问题：$ln\frac{y}{1-y}=w^{T}x+b$

$\frac{y}{1-y}$ 表示 $x$ 为正类相当于反类的相对可能性，因为取了对谁，所以称为对数几率。

将$ln\frac{y}{1-y}=w^{T}x+b$展开可以表示为：$y=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

Logistic Regression 的目标函数

目标：每一个data 属于其自身的类别的概率最大
$$l(w,b)=\sum _{i=1}^{m}lnp(y_i|x_i;w,b)$$
我们用$W代替(w,b)$，则有目标
$$W^{\ast }=argmax\sum _{i=1}^{m}lnp(y_i|x_i;W)$$

分类问题的解决方案

1、判别函数的方案

定义：找到一个函数$f(x)$称其为判别函数。这个函数把每一个输入$x$直接映射为类别标签。

举个例子：
给定数据中有三类，“猫”，“狗”，“鱼”
直接给数据一个标签：“猫=1”，“狗=2”，“鱼=3”
则判别函数输出直接就是–2

2、判别模型（判别式）的方案–从数据出发

定义：首先解决后验类密度$p(C_k|x)$这一推断问题，接下来使用决策论来对新的输入$x$进行分类。
这种直接对后验概率建模的方法称为判别式模型【$C_k$表示类别】

举个例子：
给定数据中有三类，“猫”，“狗”，“鱼”
直接给数据一个标签：“猫=1”，“狗=2”，“鱼=3”
则判别式输出为：----（0.3,0.6,0.1）一种概率的形式。

3、生成模型的方案–假设一种分布，以统计学和贝叶斯作为理论基础

定义：首先给定每个类别$C_k$，独立的确定类条件密度$p(x|C_k)$。这是一个推断问题。
然后，推断先验类概率$p(C_k)$。再使用贝叶斯定理计算后验。

$$p(C_k|x)=\frac{p(x|C_k)p(C_k)}{p(x)}$$

$p(C_k|x)$ 后验概率
$p(x|C_k)$ 似然概率
$p(C_k)$ 先验
得到后验概率之后，我们就可以使用决策论来确定每个新的输入$x$的类别。
显示的或者隐式的对输入以及输出进行建模的方式称为生产式模型。