【西瓜书】3.线性模型

目录

        1.基本概述

        2.线性模型——线性回归

                2.1.离散变量

                2.2.最小二乘法

        3.线性模型——多元线性回归

        4.广义线性模型——对数线性回归

        5.广义线性模型——对数几率回归

                5.1.定义

                5.2.参数估计——极大似然法

        6.线性模型——线性判别分析LDA 

        7.多分类学习

        8.类别不平衡问题

大纲/总结

1.基本概述

---

 2.线性模型——线性回归

2.1.离散变量

2.2.最小二乘法 

---

3.线性模型——多元线性回归

**归纳偏好和正则化项补充

---

 4.广义线性模型——对数线性回归

        输入空间到输出空间的非线性映射 

**极大似然法补充

---

5.广义线性模型——对数几率回归

5.1.定义

        对数几率回归也叫逻辑回归，它是一种二分类算法，在线性回归的基础上套一层联系函数，计算出的是样本所属正标签的概率。

5.2.参数估计——极大似然法

与线性回归作如下比较也可证明对数几率回归天然适合极大似然法，sigmoid函数自动将线性回归的值转换为了对数似然中所需要的概率值。

---

6.线性模型——线性判别分析LDA 

        LDA是一种监督降维技术，通过最大化类间差异和最小化类内差异来找到最具判别力的投影方向，然后将原始数据投影到这些方向上，投影后的数据维度d'会远小于原始属性数d，得到降维后的特征，这样的空间分布有利于分类器更好地区分不同的类别，提高分类的准确性。

        参数的优化方法：矩阵论、广义瑞利商

---

7.多分类学习

利用二分类学习器解决多分类问题

7.1.一对一OvO

7.2.一对多OvR

7.3.多对多MvM

• 编码越长、纠错能力越强
• 任意两个类别之间编码距离越远，纠错能力越强

对上图解释：其中c为类别，f为分类器，如划分了5次，有三次认为c1类为正，两次认为c1类为负，则用这五个分类器预测，预测得到的样本也是在这三个分类器预测为正，在另外两个分类器预测为负，此时测试行和c1行的距离为0，则可认为测试样本为c1。

---

8.类别不平衡问题

不同类别训练样例数相差很大情况，策略为再缩放（再平衡），三种方法：

• 欠采样
• 过采样
• 阈值移动

9.其余知识点

（1）梯度下降和对函数求偏导使其为0的区别：

        对函数求偏导使其为0通常用于解析方法中寻找闭式解（如线性回归），而梯度下降法则是一种数值优化算法，用于通过迭代寻找最优参数（如对数几率回归、复杂的多元线性回归）。

        梯度下降方法：随机梯度下降（SGD）、Adam等

（2）线性模型中只有线性回归模型可以用闭式解求解，其余如对数几率回归则是使用梯度下降法、牛顿法等求解。