目录
二 有约束条件下(等式约束与不等式约束)损失函数的凸优化算法
一 无约束条件下损失函数的凸优化算法
1 牛顿法(不推荐使用)
1)函数为可微凸函数,已知某点的函数值
,求解该点的
的方法
2)算法流程
第一步:令
第二步:计算
第三步:计算
第四步:更新
第五步:重复上述步骤(迭代),直至
2 梯度下降法
1)算法流程
第一步:假定函数
,
为n元自变量
第二步:初始化
第三步:计算负梯度
第四步:更新
第五步:重复三、四步骤(迭代),直至
注意:
是学习率:控