第三章task02打卡

公式都看书上，这个系列只是对自己所学做精简的总结大纲，很多东西还是要好好看书的。

3.1基本形式

线性模型

可以类比学过的一次函数。x前面的系数也可以用线性代数里的矩阵来表示。

3.2线性回归

均方误差

几何意义：对应了常用的欧几里得距离，简称“欧氏距离”。基于均方误差最小化来进行模型求解的方法就是“最小二乘法”。（概率论）

实际上，线性模型虽然简单但是却有丰富的变化。

对数回归：

将线性回归模型的预测值与真实标记联系起来的作用。

3.3对数几率回归

若做分类任务：

只需找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

几率：y/1-y，反映了x作为正例的相对可能性。

虽然叫回归，但是实际上是一种分类学习方法，有很多优点：无需先假设数据分布，避免了假设分布不准确所带来的问题；不仅可以预测出“类别”，而是可以得到近似概率预测，这对许多需要利用概率来辅助决策的任务很有用；此外，对率函数是任意阶可导的凸函数，很多数值优化方法都可以用于求出最优解。

书里还提到了极大似然法，，这里为宋浩老师的概率论打下广告，讲的真的很好！！！

3.4线性判别分析

LDA：思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同样例分类时投影点尽可能近，异类样例投影点尽可能远离；对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置确定新样本的区别。

3.5多分类学习

使用二分类学习器。

拆分策略：一对一，一对其余，多对多

3.6类别不平等问题

分类任务中不同类别的训练样例数目差别很大的情况。