凸优化定义&充要条件 凸优化定义&充要条件 凸优化方法 参考资料: 简明 详述 最小二乘 直接对参数求导=0,求出解析解 优点:没有超参数、快 缺点:如果样本量很大,那么求逆操作复杂度比较高 梯度下降 沿一阶导相反方向更新 牛顿迭代法 牛顿迭代法可以通过迭代逼近f(x)=0的解, 我们使用这个方法来计算导数=0的解。 优点:引入二阶导信息,更快 缺点:Hessian矩阵求逆计算耗时 拟牛顿法