机器学习理论_吃瓜系统之2：线性模型

1、线性模型的表示

线性模型的表示形式：通过属性的线性组合来进行预测的函数，许多更为强大的非线性模型（Nonlinear Model）可在线性模型基础上引入层级结构（Hierarchical Structure）或高级映射（Advanced Mapping）

一般写成以下形式，在w和b学得之后模型就得以确定，w的存在直观表达各属性在预测中的重要性，使模型具有很好的可解释性（Comprehensibility）。

**优点：**形式简单、易于建模，非线性模型可在线性模型的基础上引入层级结构或高维映射而得来。

2、线性回归（Linear Regression）

线性回归（模型）思路：试图学得一个线性模型以尽可能准确预测实值输出标记
均方误差 ：对应了常用的欧几里得距离，简称欧式距离， ——
求解方法：最小二乘法

多元回归线性模型推导：

3、对数几率回归

在广义线性模型中，只需找一个单调可微函数将分类任务标记y（比如二分类问题是y在{0,1}中取）与回归模型的预测值联系起来，将预测值转化成离散值就行（也是从g函数处来动手脚），这就是几率回归研究的问题。：——一种分类学习方法，
对数几率函数：是一种 Sigmoid函数，

优点：

• 1、直接分类可能性建模、无需事先假设数据分布，避免了假设分布不均匀所带来的问题，
• 2、不是仅预测出类别，而是可得到近似概率预测，该对许多需利用概率辅助决策的任务很有用，
• 3、对率函数是任意阶可导的凸函数，可直接用于求解最优解
  求解方法：极大似然估计

参数估计的两大学派特点：频率学派重先验，缺乏数据则偏差大；贝叶斯学派重数据，数据量增大向数据的分布靠拢。若为先验为均匀分布，那么贝叶斯分布等于频率分布，若先验为uniform（均匀分布：即在一段长度上各点概率密度相同）的话那么相当于本身对事物无任何预判。

4、线性判别分析（Linear Discriminant Analysis，LDA）

经典线性学习方法，在二分类问题上最早由Fisher提出，亦成为Fisher判别分析。基本思想是：将训练样本投影到一条直线上，使得同类的样例尽可能近，不同类的样例尽可能远。

性能度量： 如何评价分类效果，——广义瑞利商（Generalized Rayleigh Quotient），广义瑞利商越大，越优。分类问题转化为求解最优化问题

将w看做一个投影矩阵，类似PCA的思想，则LDA可将样本投影到N-1维空间（N为类簇数），投影的过程使用了类别信息（标记信息），因此LDA也常被视为一种经典的监督降维技术。

LDA可用作分类和降维，但实际上用作降维比较多：

5、多分类学习

现实中我们经常遇到不只两个类别的分类问题，即多分类问题，在这种情形下，我们常常运用“拆分”的策略，通过多个二分类学习器来解决多分类问题，即将多分类问题拆解为多个二分类问题，训练出多个二分类学习器，最后将多个分类结果进行集成得出结论。
最为经典的拆分策略有三种：“一对一”（OvO）、“一对其余”（OvR）和“多对多”（MvM）。

MvM的正类范磊构造有特殊的设计，其中一种常用的MvM技术是纠错输出码（Error Correcting Output Codes，简称ECOC）
编码：对N类别做M次划分
解码：M个分类器分别对测试样本进行预测，求预测出来的码和类别码之间的距离（欧式距离，海明距离（两代码对应位上编码不同的位数）等）。

6、类别不平衡问题

类别不平衡问题（Class-Imbalance）：指分类任务中不同类别的训练样例数目差别很大的情况。
解决类不平衡学习的策略：再缩放（Rescaling）其主要思想就是既然类别不平衡了那么我们将1改成m+/m-即正类数/负类数，

注：由于时间关系，暂未给出上述模型的代码推导实现，后续抽空再补上。特立此据。

参考资料 ：
周志华 机器学习
https://blog.csdn.net/shichensuyu/article/details/90241016
https://zhuanlan.zhihu.com/p/180468508