最优化理论笔记（待完，欢迎指正）所用教材（其实最开始是对着教材预习的，但水平不够，往往以晕结束，后来只把教材当参考，摘出重点理论搜相关资源，效果蛮好。感谢相关答主~觉得自己机智的不得了哈哈哈）chp10: least-square problems（这不是大名鼎鼎的 最小二乘法 嘛）目录10.1 background10.2 linear 从线性的入手10.3 non-linear重点研究非线性算法（这个得好好关注，跟另一项目关系比较密切）①Gauss-Newdon method（虽耳熟
所用教材（其实最开始是对着教材预习的，但水平不够，往往以晕结束，后来只把教材当参考，摘出重点理论搜相关资源，效果蛮好。感谢相关答主~觉得自己机智的不得了哈哈哈）感谢！两大基本法则：线搜索（定好方向）与信赖域（定好步长再确定方向）
1.1最速下降法，本质是一阶近似，方向直接是梯度方向，再定步长。
1.2牛顿法，本质是二阶近似，再令 二次函数的导数为0，得到关于二阶导的信息（里面已包含步长信息）。||| 拟牛顿法，对 二阶导进行近似。
1.3 共轭梯度法（非线性的特重要）
最优化理论笔记
ch3: line search methods
3.1 两个 迭代关键词：步长、方向
3.1.1 方向与梯度的 关系：
几何关系当然是 越负梯度那边越好。最速下降法中，就 正好是 负梯度 方向了。
但是这个B，除了正定对称外有什么呢？
课后题：
3.1.2 步长的确定
3.25公式与下面5.7类似。只是在精确线搜索中，方向即为负梯度的方向.
Ax-b即为f关于x的梯度，也可以看作 残差r。
求解方法的本质是，带入，关于a的导数为0.
最低0.47元/天 解锁文章
1134
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
