机器学习笔记之线性分类——线性回归基本性质介绍与线性分类

引言

本系列将介绍线性分类。

回顾：线性回归

线性回归(Linear Regression)是最基础的概率模型之一，它的概率模型表现格式如下：
$$f(\mathcal{W},b)={\mathcal{W}}^{T}x+b$$
其中，$x$样本数据提供的特征信息，是已知量；一般情况下，每一个样本$x^{(i)}(i=1,2,\cdots ,N$；$N$表示样本数量$)$是一个$p$维向量：
$$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_p^{(i)}{)}_{p\times 1}^T$$
同理，$\mathcal{W}$也是一个$p$维向量：
$$\mathcal{W}=(w_1,w_2,\cdots ,w_p{)}_{p\times 1}^T$$
$b$被称为偏置(bias)，具体作用是线性计算结果${\mathcal{W}}^{T}x$在特征空间中的平移信息，是一个标量；

线性回归的处理相关任务的朴素思想是 模型拟合结果$f(x^{(i)};W,b)$和对应的真实标签$y^{(i)}$之间的差距。因此，处理线性回归任务常用的策略工具是最小二乘法：
一般情况下，为了简化推导过程，通常将$b$合并到${\mathcal{W}}^{T}x$中。
$$\mathcal{L}(\mathcal{W},b)=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2$$

线性回归基本性质

即便线性回归模型结构简单，但仍包含3大基本性质：

• 线性性质；
• 特征空间的全局性；
• 样本未执行加工；

相比于上述三大基本性质，可以通过违背上述一条或几条性质来实现其他的具体模型。

线性性质

线性回归的线性性质共包含3类：

• 基于样本特征的线性性质
  观察线性回归概率模型中 样本向量$x^{(i)}$与权重向量$\mathcal{W}$之间的线性计算过程：
  $${\mathcal{W}}^{T}x$$