本章内容:
1.逻辑分类与回归
sigmoid函数概率证明---->>>回归
2.感知机的学习策略
3.牛顿法优化
4.Hessian矩阵
牛顿法优化求解:
这个我就不记录了,看到一个非常完美的说明+演示+实际操作:http://www.matongxue.com/madocs/205.html#/madoc
Hessian矩阵:
先看其定义:
就是对参数求各个方向的偏导数,我们以以下的2个特征值为例子也就是2X2矩阵,里面的参数是二阶偏导数,那就可以表示图形或者图像的凹凸性或者拐点之类的。
其在牛顿法的求解中无特殊的意义,就是对矩阵的一个表示而已,非要说作用那就是上面说的拐点之类的。
![](https://i-blog.csdnimg.cn/blog_migrate/f230bfc2da81e900560aba4bb7980e41.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b6af8fe2e1b1f814835ebf96f66e7f41.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05457f5eae4c80636f55676aa684554e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9abb4ed28d2bc2bbcc0cc86ea72a73a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/56137b1f115b2831d95833f4539816a0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ee1bf3d45e93488d803f2d379b71ac7a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68e6042812d652cf871a65682b87c1e7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3e18fefb2f3901e2fd2c6aaeb4b8ec67.png)