可导凸函数的最优解搜索问题 文章目录 可导凸函数的最优解搜索问题 1. 牛顿迭代法 1.1 牛顿分搜索零点的原理 1.2 牛顿法搜索极值点原理 2. 梯度下降法 2.1 微分与梯度 2.1.1 一元函数与多元函数的微分 2.1.2 梯度 2.2 梯度下降法 2.2.1 多元线性回归（Toy data） 2.2.2 多元线性回归（Real data） 3. 随机梯度下降 4. 梯度下降与随机梯度下降的效果对比 5. 小批量梯度下降 1. 牛顿迭代法 1.1 牛顿分搜索零点的原理 牛顿法是基于泰勒公式来实现的。泰勒公式的意义：如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。 已经证明，如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。 3 牛顿法的几何解释 牛顿法的迭代过程如下： 算法 1: 牛顿法求方程的零点 输入: x 0
超级会员免费看
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
