吃瓜教程——西瓜书线性模型学习

西瓜书——线性模型学习笔记

3.1 基本形式

一句话讲清楚线性回归： 找到一个w和b使直线能够和点拟合

3.2 线性回归

简单的线性回归，找到一个w和b使直线能够和点拟合

怎么找？

得出一个误差函数，分别对于w,b求导，当导数是0的时候，就是误差取到最小值的时候，w,b就可以求出来。就是最小二乘法。

如果是多元的形势呢？就是一个x从数变成数组，y从数变成数组？

那么w，b也从一个数变成数组，求导就变成对向量求导了。最后我们只需要找到一个w,b的向量符合条件即可

3.3 对数几率回归

本次提出，如果是一个分类任务怎么办（就只是有0和1的结果）
考虑二分类任务，其输出标记y={ 0 , 1 } ,而线性回归模型产生的预测值是z，于是我们需将实值z 转换为0 / 1 值.最理想的是“单位阶跃函数“(unit-step function)

当然，还有另外一个比较普遍的函数

这个比直接一个跳跃的效果更好，而且可以从y推测出x，所以一般用这个函数代替一个单位阶跃函数

这个函数后面也会比较常见，叫做Sigmoid函数，但是在这里，我们把它用作一个分类函数

原来公式可以变成这样

再转化

观察这个函数，他有什么用呢？提示y=[0，1]
y和1-y就是正和反的关系。两者之商就是他们的比值
如果y->1那么ans->正无穷
如果y->0那么ans->0
取对数的时候，一个趋近于正无穷，一个趋近于负无穷

当然，这个公式还可以长这样

求解，得出

为了求出w和b，我们采用最大似然估计，把他们都乘起来

然后对他们求导，就能得出w和b了

3.4 线性判别分析

本次提出了一个线性判别分析（Linear Discriminant Analysis,简 称 LDA）方法
这个方法训练的时候，把所有点都投影到一个直线上，相似的就近一点，不同的就远一点。看这个图，把两类点投影为两段

直到直线有这种效果，就是训练完毕。
那么我们怎么进行分类呢？

再投影一次，看看这个点会去到哪里，就属于哪类

训练的时候一定会有这个图一样吗？
通过不断调整w和b,就会出来这个图了

3.5 多分类学习

多分类=叠加的二分类

3.6 类别不平衡问题

场景：如有998个反例，但正例只有2 个，那么学习方法只需返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度;然而这样的学习器往往没有价值，因为它不能预测出任何正例

3.7 阅读材料

“稀疏表示" (sparse representation)近年来很受关注，但即便对多元线性
回归这样简单的模型，获得具有最优“稀疏性”(sparsity)的解也并不容易