【吃瓜笔记】第三章

【吃瓜笔记】第三章

一、线性模型

一般形式：
$$\begin{array}{c}\begin{array}{rl}f(x)& ={\omega }_1{x}_1+{\omega }_2{x}_2+\cdots +{\omega }_d{x}_d\\ & ={\overrightarrow{\omega }}^T\overrightarrow{x}+b\end{array}\end{array}$$

1、线性回归（linear regression）

单输入情况：

• 对离散属性，若存在“序”关系，将其连续化
• 若不存在“序”关系，假定有K个属性值，转化为k维向量

均方误差:具有几何意义，对应了欧式距离

基于均方误差最小化来进行模型求解的方法——“最小二乘法”（least square method)

最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小

$$\begin{array}{c}\begin{array}{rl}({\omega }^{\ast },b^{\ast })& =argmin\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =argmin\sum _{i=1}^m(y_i-\omega x_i-b_i{)}^2\end{array}\end{array}$$

线性回归模型的最小二乘“参数估计"(parameter estimation)
$$\begin{gathered} \frac{\partial E_{(\omega ,b)}}{\partial \omega }=2(\omega \sum _{i=1}m(y_i-b)x_i) \\ \frac{\partial E_{(\omega ,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-\omega x_i)) \end{gathered}$$
令上式为零得到$\omega$和$b$最优解的闭式解
$$\begin{gathered} \omega =\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i)} \\ b=\frac{1}{m}\sum _{i=1}^m(y_i-\omega x_i) \end{gathered}$$

2 、多元线性回归

在数据集D，样本由d个属性描述
$$f(x_i)={\omega }^T{x}_i+b,使得f(x_i)\approx y_i$$
$\omega$与$b$构成向量$\hat{\omega }=(\omega ;b)$；数据集D表示为一个$m\times (d+1)$大小的矩阵$X$
$$\begin{gathered} X=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right),则有 \\ {\overrightarrow{\omega }}^{\ast }=argmin(\overrightarrow{y}-\overrightarrow{X}\overrightarrow{\omega }{)}^T(\overrightarrow{y}-\overrightarrow{X}\overrightarrow{\omega }) \end{gathered}$$
对$ \overrightarrow \omega$求导得：
$$\frac{\partial E_{\overrightarrow{\omega }}}{\partial \overrightarrow{\omega }}=2{\overrightarrow{X}}^T(\overrightarrow{X}\overrightarrow{\omega }-\overrightarrow{y})$$
令上式=0 $\Rightarrow \overrightarrow{\omega }$最优解的闭式解

1、 当$X^{T}X$为满秩矩阵或正定矩阵
$$\begin{gathered} {\overrightarrow{\omega }}^{\ast }=（X^{T}X{）}^{-1}{X}^{T}y \\ f(x_i)={\overrightarrow{x}}_i（X^{T}X{）}^{-1}{X}^{T}y \end{gathered}$$
2、 非满秩矩阵，解出多个$\overrightarrow{\omega }$。常见的做法是引入正则化项，由算法的归纳偏好决定

3、广义线性模型

$$y=g^{-1}({\overrightarrow{\omega }}^{T}x+b)$$

g(·)称为联系函数

二、对数几率回归

对数几率函数
$$ln\frac{y}{1-y}={\omega }^{T}x+b$$
将y视为类后验概率为$P(y=1|x)$,则
$$ln\frac{P(y=1|x)}{P(y=0|x)}={\omega }^{T}x+b$$
通过“极大似然法”来估计$\omega$和b。给定数据集$\{(x_i,y_i){\}}_{i=1}^m$，对率回归模型最大化“对数似然”
$$l(\beta )=\sum _{i=1}^m(-y_i{\beta }^T{x}_i+ln(1+e^{{\beta }^T{x}_i}))$$

• 凸优化理论

经典的数值优化算法：梯度下降法、牛顿法

三、线性判别分析

给定训练样例集，设法将样例投影到一条直线，同类点尽可能靠近，异类点尽可能远离。新样本同样投影到该直线，根据投影点位置判断

• 同类样例尽可能靠近，则同类的协方差尽可能小
• 异类尽可能远离，则类中心距离尽可能大

类内散度矩阵：
$$\begin{array}{c}\begin{array}{rl}J& =\frac{||{\omega }^T{\mu }_0-\omega {\mu }_1|{|}_2^2}{{\omega }^T{\sum }_0\omega +{\omega }^T{\sum }_1\omega }\\ & \\ & =\frac{{\omega }^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\omega }{{\omega }^T{\sum }_0\omega +{\omega }^T{\sum }_1\omega }\end{array}\end{array}$$
类间散度矩阵：
$$S_{\omega }=\sum _{x\in x_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in x_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$
LDA最大化目标“广义瑞利商”：
$$J=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$

四、多分类学习

多分类学习的基本思路是“拆解法”，拆成若干个二分类

1、拆分策略：

（1）、一对一

产生N(N-1)/2个二分类任务。新样本同时提交给所有分类器，把预测最多的类别作为最终的分类结果

（2）、一对其余

每次将一个类的样例作为正例、其他类的样例作为反例训练N个分类器

测试时，若仅有一个正类预测，则该标记为最终结果；若有多个正类预测，选置信度最大的为最终结果

（3）、多对多

纠错输入码

• 编码 ：进行M次划分，形成M个分类器

• 解码：M个分类器的预测标记组成编码，与个类别的编码进行比较，返回距离最小的类比作为最终预测结果

• 编码矩阵

  • 二元码：正类、反类
  • 三元码：正类、反类、停用类

  海明距离：两个合法代码对应位上编码上的不同的位数成为码距，又叫海明距离

五、类别不平衡

指分类任务中不同类别的训练样例数目差别很大的情况。类别不平衡学习的一个基本策略——“再缩放”
$$\frac{y^{{}^{\prime }}}{1-y^{{}^{\prime }}}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$$
因为“训练集是真实样本总体的无偏采样”这个假设往往不成立。“再缩放”未必能有效地基于训练集观测几率来推断出真实几率

1、欠采样

"欠采样"去除一些反例，使正、反数目接近，这使得分类器训练集远小于初始训练集。若采用随机丢弃法，可能丢失一些重要信息。

典型算法：

• EasyEnsemble，利用集成学习机制，将反例划分成若干集合供不同学习器使用，对每个学习器都进行欠采样

2、过采样

增加一些样例，使正、反例数目相同，则分类训练集大于初始训练集，过采样不能简单地进行重复采样，否则会招致严重的过拟合

典型算法：

• SMOTE，通过对训练集里的正例进行插值来产生额外的正例