微雨入兰泽

思维导图离散贝叶斯原理示例实例展示sklearn的源码解析

思维导图牛顿法求解最优化问题原理牛顿法与梯度下降法的差异拟牛顿法牛顿法求解最优化问题原理原理阐述：f(x)f(x)f(x)的取得最小值(极小值)的必要条件是∇f(x)=0\nabla{f(x)}=0∇f(x)=0，所以牛顿法就是来逼近x∗x^*x∗，使∇f(x∗)=0\nabla{f(x^*)}=0∇f(x∗)=0。 过程推导：f(x⃗)f(\vec{x})f(x)在x0⃗\vec{x_0}x0​​处的二阶泰勒展开式为f(x)=f(x0)+∇f(x0)T(x−x0

1. 什么是梯度？定义: 对于函数 w=f(x,y,z)w=f(x, y, z)w=f(x,y,z)，如果在P0(x0,y0,z0)P_{0}(x_{0},y_{0},z_{0})P0​(x0​,y0​,z0​)处存在偏导数fx′(x0,y0,z0),fy′(x0,y0,z0),fz′(x0,y0,z0)f'_{x}(x_{0},y_{0},z_{0}),f'_{y}(x_{0},y_{0},z_{0}),f'_{z}(x_{0},y_{0},z_{0})fx′​(x0​,y0​,z0​),fy′​(x