《机器学习》随心记-周志华版线性模型

这学期，将学习周志华老师的《机器学习》这本书，一周两章，每章我都会做上一点笔记，笔记或多或少，或工整或潦草，一切根据我当时的时间和心情而定，简单的定义或者易理解的知识我可能附上定义甚至不写，不懂的地方会特别强调指出。所以这个学习系列我称为《机器学习》随心记。

       整个随心记的每章由两部分组成，一个是我阅读时产生的问题，我会在解决后在博客的评论或者再编辑解答相应问题；另一个就是基础知识定义以及我对个别定义公式的理解。如果有错误，欢迎指正！如果有需要交流的同志，可以联系Q122643224~附上CSDN学习交流。

 

第一部分：

问题

1.    P55为什么当满秩矩阵或正定矩阵时，令其为零的目的？

只有满秩矩阵和正定矩阵才能求矩阵的逆。

 

第二部分

       本章介绍几种经典的线性模型。先从回归任务开始，在讨论二分类问题。我学习的过程中发现太多数学推导我看不懂了，所以暂时忽略推导这一部分。主要学习概念。

P53

1 基本形式

P53

2 线性回归

连续型属性很好办，那么离散型属性我们该怎么处理呢？于是，提出了离散型的解决方法：

（1）如果是有序的离散值，将其转化为连续值，如身高的高矮转化为1,0

（2）如果是不存在序关系的，转化为向量，有k个属性就转化为k维向量。

3 最小二乘法

基于均方误差最小化进行模型求解的方法称为最小二乘法

求解w，b使均方误差最小化的过程，我们称为线性回归模型的最小二乘参数估计。

最终求得w，b最优解的闭式解：

P55

4 多元线性回归

多元线性回归模型为：

其中，

现实生活中X^TX往往不是满秩矩阵，会出现多个解W。当有多个解W都能使均方误差最小化，选择的方法是引入正则化项。

5 对数线性回归

将输出标记的对数作为线性模型逼近的目的，模型为：

P57

6 对数几率回归（逻辑斯谛回归）

属于分类学习方法

对数几率函数常用这样一个替代函数：

然后得到

于是若将y视为正例的可能性，1-y视为负例的可能性，那么两者比值为y/1-y。

这样我们就可以达到分类的目的。这种方法有几个优点：

（1）无需假设数据分布，避免假设分布不准确带来的问题。

（2）不仅可以预测出类别，而且可以得到近似概率预测。

P60

7 线性判别分析（LDA）

给定训练集，想办法将样例投影到一条直线上，使同类样例的投影点尽量近，异类样例的投影点尽量远。

定义类内散度矩阵

以及类间散度矩阵

其中w为：

现给出瑞丽商的公式： 

，

其中最大值等于矩阵A的最大特征值。

P63

8 多分类学习

主要使用拆解法。

拆分策略为：“一对一”（OVO）“一对其余”(OVR)“多对多”(MVM)

一对一：每次在N个类别里选定两个，两两配对，产生N（N-1）/2个分类任务。如图：

一对其余：每次选一个类作为正例，其余的所有作为反例。注意，最后分类结果只为正和负类。

MVM常用技术有：纠错输出码（ECOC）。

主要分为两步：

类别划分主要通过编码矩阵。如二元码和三元码。如图

 

P67

9 类别不平衡问题

分类器的规则为：

      

处理类别不平衡问题的主要策略有

再缩放：即

欠采样：去除一些训练集中的一些反例使正反数目接近

过采样：添加一些训练集中的一些正例使正反数目接近

（注意：我们假定正例较少，反例较多）

阈值移动：在用训练好的分类器进行预测时，将缩放比例嵌入到决策过程中。