好吃的西瓜-第三章

3、线性模型

​ 线性模型主要就是两个作用，一是做回归预测，二是做分类任务。按照西瓜书的定义来说，即试图学得一个线性模型以尽可能准确地预测实值输出标记。

3.1 基本形式

线性模型一般形式为：f(x)=w1x1+w2x2+...+wdxd+b

通过输入数据 x ,得到f(x)，从而进行预测。这里的关键就是如何确定w和b才能使得我们的预测值更加准确。

3.2 线性回归
​ 什么是回归分析呢？这是一个来自统计学的概念。回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用直线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。

​ 线性回归是回归分析的一种。简单地说，线性回归就是用来做预测分析。

​ 同时，线性回归可以分为一元线性回归和多元线性回归，当自变量 ( x ) (x) (x) 只有一个时，我们称之为一元线性回归，当自变量具有多个 ( x 1 , x 2 , x 3 . . . x T ) 我们称之为多元回归。无论是一元还是多元，最终目的都只有一个，那就是使得我们的预测值f(x)更加的接近真实值 y

3.3 对数几率回归
​ 对数几率回归虽然带有回归二字，但实际上，它的作用就是线性模型的另一个功能——分类。

分类任务可以分为两种：二分类和多分类

​ 以二分类为例，我们通常把输出标记为 y ∈ { 0 , 1 } y∈\{ 0 , 1 \} y∈{0,1}，二线性回归模型产生的预测值 z = w T x + b 是实值，并且用“单位阶跃函数”把f(x)转化为 0 / 1 

3.4 线性判别分析

Linear Discriminant Analysis ，简称 LDA

思想：给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.

3.5 多分类学习
多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。这里的关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成。

最经典的拆分策略有三种：一对一（One vs. One, 简称OvO），一对其余（One vs. Rest, 简称OvR），多对多（Many vs. Many, 简称MvM）。

3.6 类别不平衡问题

• 对数据多的类别欠采样
• 对数据少的类别过采样。
• 使用新评价指标。准确度这个评价指标在类别不均衡的分类任务中并不适用，甚至进行误导。因此在类别不均衡分类任务中，需要使用更有说服力的评价指标来对分类器进行评价。