最优化理论笔记（待完，欢迎指正）2021-04-18

所用教材（其实最开始是对着教材预习的，但水平不够，往往以晕结束，后来只把教材当参考，摘出重点理论搜相关资源，效果蛮好。感谢相关答主~觉得自己机智的不得了哈哈哈）感谢！两大基本法则：线搜索（定好方向）与信赖域（定好步长再确定方向）
1.1最速下降法，本质是一阶近似，方向直接是梯度方向，再定步长。
1.2牛顿法，本质是二阶近似，再令 二次函数的导数为0，得到关于二阶导的信息（里面已包含步长信息）。||| 拟牛顿法，对 二阶导进行近似。
1.3 共轭梯度法（非线性的特重要）