周志华西瓜书-第三章学习总结

第三章：

线性模型：通过一个线性组合乘以输入来进行预测的函数。线性模型形式简单、易于建模，许多功能强大的非线性模型都是在线性模型的基础上引入层级结构或高维映射而得。

如何确定w 和 b 关键在于如何衡量和 y之间的差别。这个时候我们引入了回归任务重最常用的性能度量，均方误差，我们可以尝试让均方误差最小化，这就是我们常说的最小二乘法。

最小二乘法：试图找到一条直线，使所有样本到直线上的欧氏距离最小。

sigmod函数 也是深度学习的激活函数

对数几率

用来表示预测值跟真是标签值之间的对数概率

另外用极大似然估计法对W 和 b 进行估计。另每个样本真实的估计越大越好。

线性判别分析，最早由二分类问题上提出：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近，异类样例的投影点尽可能的远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来判断新样本的类别。

多分类学习：将多分类任务拆解为若干个二分类任务求解。具体来说就是先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对于多个分类器的结果进行集成，以获得最终的结果。

类别不平衡问题： 类别不平衡指的是训练集中不同类别的数据集相差较大的情况，

 当下的解决方法分类三种：第一种，直接对训练集里的反类样例进行 ‘欠采样’，即去除一些反例使得正，反例数目接近，然后再进行学习；第二种，对训练集里的正类样例进行‘过采样’，即增加一些正例使得正，反例数目接近，然后再进行学习；第三，则是基于原始训练集进行学习，但在用训练好的分类器进行预测时将嵌入到决策过程中，称为‘阈值移动’。

未完待续.....................