3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数
线性模型试图学得一个通过属性的线性组合来进行预测的函数
![](https://i-blog.csdnimg.cn/blog_migrate/a7c015057283a110a967ddf01c6333cc.png)
线性模型优点:
(1)形式简单,易于建模
(2)可解释性
非线性模型可以通过引入层次结构或高维映射而得
(1)形式简单,易于建模
(2)可解释性
非线性模型可以通过引入层次结构或高维映射而得
3.2 线性回归
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记
![](https://i-blog.csdnimg.cn/blog_migrate/be7632884fc0e78eeac5d4ea0d296296.png)
最小二乘法:令均方误差最小(欧氏距离),来确定w和b
得到此时w和b的值(闭式解)
![](https://i-blog.csdnimg.cn/blog_migrate/b5b55abed59962087144239b83fe40e0.png)
对于多元线性回归,同样可用最小二乘估计
若可逆
![](https://i-blog.csdnimg.cn/blog_migrate/e3624fa1a2273b2f44d12d2189f012f5.png)
其中
![](https://i-blog.csdnimg.cn/blog_migrate/7cc374c6d96efc72b3c6dddf56dba91e.png)
若不可逆,有多个解,通过正则化选择最佳的。
线性回归 也可利用梯度下降法确定预测函数(看PPT)
![](https://i-blog.csdnimg.cn/blog_migrate/79de6ea9ef14b21d1cbb6ea4573a7f23.png)
或者随机梯度下降:
![](https://i-blog.csdnimg.cn/blog_migrate/367210833be55757f6214609b9f5847e.png)
梯度下降与最小二乘对比:
![](https://i-blog.csdnimg.cn/blog_migrate/0e12fa0d7a98c51a16e4837c6cde3d47.png)
线性模型的变化:
![](https://i-blog.csdnimg.cn/blog_migrate/52440541b9d3a25211fc4ae909e06835.png)
输出标记的对数作为线性模型毕竟的目标
利用联系函数构造广义线性模型
![](https://i-blog.csdnimg.cn/blog_migrate/7776198d762b8b33fc5906ba5fca7898.png)
3.3 对数几率回归
为了做分类任务,用对率函数(sigmoid)作为联系函数
![](https://i-blog.csdnimg.cn/blog_migrate/0f740bccf305db5bbf347d6d4a104835.png)
可将y视为后验概率,那么
![](https://i-blog.csdnimg.cn/blog_migrate/4404d7a8d5f5e517e219e3291cf2b90e.png)
用极大似然来估计w与b
最大化 对数似然:
![](https://i-blog.csdnimg.cn/blog_migrate/f0c57af5a8c49d94048e7c120f4b6835.png)
求3.4
![](https://i-blog.csdnimg.cn/blog_migrate/b907925d77751abfdc410d4f85b7488c.png)
3.4 线性判别分析
LDA思想:设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类尽可能远离。
![](https://i-blog.csdnimg.cn/blog_migrate/aa7905dd03242370e8e9447aa97e7a9e.png)
LDA的目标:
![](https://i-blog.csdnimg.cn/blog_migrate/1b9fef016a1954514fb0d9994bd1a058.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2e1c62c30db55a3ab8ebd4fad92c11ab.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bd2cde7c5b73235f3682677237364e6d.png)
3.5 多分类学习
![](https://i-blog.csdnimg.cn/blog_migrate/927f66dddb66a58a5a04a99bc38bba58.png)
多分类学习有多种方法:OV0(一对一)、OVR(一对其余)、MVM(多对多)
![](https://i-blog.csdnimg.cn/blog_migrate/9cc3ace6e2640daaab7d57574cb835e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a690e5d70cf8c78a05f1424f9e592cc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/64f301eb5990b5a929db727356a92540.png)
![](https://i-blog.csdnimg.cn/blog_migrate/010b433e1435daf55af09e326736523c.png)