无约束优化 随机梯度下降 全批量梯度下降 小批量梯度下降 牛顿法 牛顿法的优缺点: 优点:不会震荡,并且会快速收敛 缺点:只有接近X0才能收敛否则会发散,计算量大要二阶 最好的快到局部最小值了再用牛顿法 有约束的最优化 等式约束 不等式约束