最优化理论与方法 袁亚湘_芝麻004| 最优化理论与方法系列1

嘿，你喜欢小芝麻吗？听说攒的多了，就能芝麻开门了哦

写在前面 没有记录就等于没有发生，我要用自己的方式，去诉尽这平凡而可贵的旅途！本系列旨在复习回顾，无法面面俱到，也不可能普适，系统梳理真的比较吃力，也可能是笔者功力尚浅。不过还好，我在路上！复习时需要比对公式理解，这样概念才能不断深化，笔者仅仅做到了概括要点。不管怎样，于你于我，都希望有所收获。 特此声明，文中大部分图片及文字叙述源自任课焦老师课件。感谢老师一学期以来的悉心讲解 文中不当之处欢迎指正！ 【目录】

• 序言

• 发展历史

• 研究领域

• 概论

• 数学基础

• 习题演练

【序言】

课程已接近尾声，原本以为神圣不可捉摸，但也在不断地学习中落地实践。 最优，可以理解为人总是追求向好的一面，希望有较好的结果。但是并非事事有“最”，而是 事事都有“更”，在寻找更的旅途中，可能没有尽头，也可能转角就遇到最美的结果。 在学习这门课的同时，选修了《数学模型》的课程，二者在某些地方相互融合让我对知识之间的联系更加向往。我能感受到，在我以后的学习中，这门课程会像源头一样不断地滋养着其他领域，同样，也会在不同领域生发出更梦幻的科学。

【发展历史】

1.人类智能优化：与人类史同步，凭借人的直觉或逻辑思维；2.数学规划方法优化：自牛顿发明微积分算起，电子计算机不断推动数学规划方向发展；3.工程优化：基于经验和直觉的方法在处理多目标工程优化问题中有更多应用；4.现代优化算法：遗传算法、粒子群优化算法、蚁群优化算法、模拟退火算法……

【研究领域】

运输问题、车辆调度、工程设计、结构设计、资源分配、无线网络、化工处理、电子工业等。

图源任课焦老师课件

【概论】

• 数学模型

相当于为解决同一类问题创造了一个“模具”，对于同种类型的不同问题，只要每次改变不同参数的值即可得到理想的结果。

• 三要素：决策变量和参数、目标函数、约束条件

解决投资收益与风险问题时的建模图，旨在理解三要素在模型中的具体形式

• 最优化问题求解两个关键步骤：建模、求解

本课程重在如何求解，即使用尽可能合适的算法去解决相应的问题，以得到“最优解”。

• 相关概念

可行解/可行点

最优解(全局最优解、局部最优解、严格最优解)

• 求解算法

• 公式解算法(精确解)

费马定理：对可导函数求导数为0的点；

拉格朗日乘数法：求解带等式约束的极值问题；

KKT条件：求解既带有等式约束，又带有不等式约束的极值问题。

• 数值优化算法

梯度下降法：利用当前位置负方向作为搜索方向；

随机梯度下降法：每个数据计算损失函数，再求梯度更新参数，计算速度快；动量项：加速梯度下降法的收敛速度，减少震荡；Adam：累积了梯度平方和(整合了自适应学习率)与动量项；AdaGrad：相比于标准梯度下降法可自动变更学习率；RMSProp：缓解了AdaGrad学习率下降较快的问题； AdaDelta：避免了长期积累梯度值所导致的学习率趋于0的问题。牛顿法：利用一阶和二阶导数的无约束目标最优化方法；可信域牛顿法：调整牛顿方向的步长以实现收敛到最优解和序列递减；拟牛顿法：改善牛顿法每次求解海森矩阵逆矩阵的复杂度，使用正定矩阵近似；DFP、BFGS、L-BEGS。

• 分治法：将大问题分解为子问题求解

坐标下降法、SMO算法、分阶段优化。

• 动态规划步骤

1.正确划分阶段；2.确定状态变量和决策变量，给出状态变量和决策变量可行集合；3.确定求解的递推顺序，给出状态转移方程；4.确定阶段、子过程的指标函数，确定最优值函数的递推方程和边界条件；5.递推求解；6.与递推过程反向求出最优策略和最优状态变化路线。

• 离散优化：针对于只能取离散值的函数

图源任课焦老师课件

• 问题分类

1.根据目标函数及约束条件可分为：线性规划、非线性规划、动态规划、整数规划、多目标规划、对策论。2.其他分类

图源任课焦老师课件

【数学基础】

• 向量知识与范数理论

• 二次型与正定矩阵

• 方向导数与梯度

• 海森矩阵及泰勒展式

图源任课焦老师课件

• 极小点判定条件

必备定义：邻域、极小点、驻点定理1： 设f具有一阶连续偏导数，若X*是f(X)的 局部极小点并是D的内点，则X*处梯度值为0；反之未必成立。定理2：设f具有二阶连续偏导数，X*是D的一个内点，若X*处梯度值为0且X*处海森矩阵是正定的，则X*是f(X)的严格局部极小点。

定理证明过程

• 锥、凸集及其性质

必备定义：锥、凸组合、凸集、半空间、凸函数

定理：

1.任意一组凸集的交仍然是凸集。

2.凸集分离定理

图源任课焦老师课件

注意：空集是凸集，空间R^n、半空间、超平面、直线、点、球都是凸集。

拓展：超平面是n维线性空间内维数为n-1的平坦子集。

• 凸函数及其性质!!!

定义：设C是R^n中的非空凸集，f(x)是定义在C上的函数，对于所有包含于C的X1、X2，以及属于(0,1)的lamda，若有下式，则f(x)为C上的凸函数。

性质：1.设f1(X)，f2(X)是凸集C上的凸函数，则二者之和在S上也是凸函数。2.设f(X)是凸集C上的凸函数，则af(X)也为凸函数(其中a非负)。

• 函数正定性的判别!!!

判定定理及证明

【习题演练】

(没钱充会员.jpg)

(不得不说，还是微信推送深得我心，幕布思维导图生成不美观，图片上传大小也有限制，所以今日真真切切又敲了一遍，哭辽。不过值得值得哈哈！)

点击图片给我留言，我们聊聊芝麻叭好不好