3、线性模型
线性模型主要就是两个作用,一是做回归预测,二是做分类任务。按照西瓜书的定义来说,即试图学得一个线性模型以尽可能准确地预测实值输出标记。
3.1 基本形式
线性模型一般形式为:f(x)=w1x1+w2x2+...+wdxd+b
通过输入数据 x ,得到f(x),从而进行预测。这里的关键就是如何确定w和b才能使得我们的预测值更加准确。
3.2 线性回归
什么是回归分析呢?这是一个来自统计学的概念。回归分析是指一种预测性的建模技术,主要是研究自变量和因变量的关系。通常使用直线/曲线来拟合数据点,然后研究如何使曲线到数据点的距离差异最小。
线性回归是回归分析的一种。简单地说,线性回归就是用来做预测分析。
同时,线性回归可以分为一元线性回归和多元线性回归,当自变量 ( x ) (x) (x) 只有一个时,我们称之为一元线性回归,当自变量具有多个 ( x 1 , x 2 , x 3 . . . x T ) 我们称之为多元回归。无论是一元还是多元,最终目的都只有一个,那就是使得我们的预测值f(x)更加的接近真实值 y
3.3 对数几率回归
对数几率回归虽然带有回归二字,但实际上,它的作用就是线性模型的另一个功能——分类。
分类任务可以分为两种:二分类和多分类
以二分类为例,我们通常把输出标记为 y ∈ { 0 , 1 } y∈\{ 0 , 1 \} y∈{0,1},二线性回归模型产生的预测值 z = w T x + b 是实值,并且用“单位阶跃函数”把f(x)转化为 0 / 1
3.4 线性判别分析
Linear Discriminant Analysis ,简称 LDA
思想:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.
3.5 多分类学习
多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。具体来说,先对问题进行拆分,然后为拆出的每个二分类任务训练一个分类器;在测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果。这里的关键是如何对多分类任务进行拆分,以及如何对多个分类器进行集成。
最经典的拆分策略有三种:一对一(One vs. One, 简称OvO),一对其余(One vs. Rest, 简称OvR),多对多(Many vs. Many, 简称MvM)。
3.6 类别不平衡问题
- 对数据多的类别欠采样
- 对数据少的类别过采样。
- 使用新评价指标。准确度这个评价指标在类别不均衡的分类任务中并不适用,甚至进行误导。因此在类别不均衡分类任务中,需要使用更有说服力的评价指标来对分类器进行评价。