最优化

最新推荐文章于 2022-11-14 14:11:03 发布

mengxiaozuo

最新推荐文章于 2022-11-14 14:11:03 发布

阅读量631

点赞数 1

分类专栏：图论算法

图论算法专栏收录该内容

43 篇文章 4 订阅

订阅专栏

主要研究以下形式的问题：

给定一个函数

f:A\to \mathbb{R}

，寻找一个元素

\mathbf{x}^0\in A

使得对于所有

A

中的

\mathbf{x}

，

f(\mathbf{x}^0)\leq f(\mathbf{x})

（最小化）；或者

f(\mathbf{x}^0)\geq f(\mathbf{x})

（最大化）。

这类定式有时还称为“数学规划”（譬如，线性规划）。许多现实和理论问题都可以建模成这样的一般性框架。

典型的， $A$ 一般为欧几里得空间 $\mathbb{R}^n$ 中的子集，通常由一个 $A$ 必须满足的约束等式或者不等式来规定。 $A$ 的元素被称为是可行解。函数 $f$ 被称为目标函数，或者代价函数。一个最小化（或者最大化）目标函数的可行解被称为最优解。

一般情况下，会存在若干个局部的极小值或者极大值。局部极小值 $x^*$ 定义为对于一些 $\delta>0$ ，以及所有的 $x$ 满足

\|\mathbf{x}-\mathbf{x}^*\|\leq\delta

;

公式

f(\mathbf{x}^*)\leq f(\mathbf{x})

成立。这就是说，在 $\mathbf{x}^*$ 周围的一些闭球上，所有的函数值都大于或者等于在该点的函数值。一般的，求局部极小值是容易的，但是要确保其为全域性的最小值，则需要一些附加性的条件，例如，该函数必须是凸函数。

符号表示[编辑]

最优化问题通常有一些较特别的符号标示方法。例如：

\mathrm{min}_{x\in\mathbb R}\; x^2 + 1

这是要求表达式 $x^2 + 1$ 的最小值，这里x取值为全体实数， $\mathbb{R}$ 。这个问题的最小值应该是 $1$ ，当 $x=0$ 。

\mathrm{max}_{x\in\mathbb R}\; 2x

这是要求表达式 $2x$ 的最大值，同样地， $x$ 在全体实数上取值。对于这个问题，由于该表达式不是有上界的，因此不存在最大值，因此，答案应该是无限大，或者是不可定义的。

\operatorname{argmin}_{x\in[-\infty;-1]}\; x^2 + 1\,

这是求使表达式x²+1 达到最小值时x的值。在这里x被限定在区间[-∞ ,-1]之间，所以上式的值是-1。

主要分支[编辑]

线性规划

当目标函数 f是线性函数而且集合A是由线性等式函数和线性不等式函数来确定的，我们称这一类问题为线性规划

整数规划

当线性规划问题的部分或所有的变量局限于整数值时，我们称这一类问题为整数规划问题

二次规划

目标函数是二次函数，而且集合A必须是由线性等式函数和线性不等式函数来确定的。

非线性规划

研究的是目标函数或是限制函数中含有非线性函数的问题。

随机规划

研究的是某些变量是随机变量的问题。

动态规划

研究的是最优策略基于将问题分解成若干个较小的子问题的优化问题。

组合最优化

研究的是可行解是离散或是可转化为离散的问题。

无限维最优化

研究的是可行解的集合是无限维空间的子集的问题，一个无限维空间的例子是函数空间。

算法[编辑]

对于无约束的优化问题，如果函数是二次可微的话，可以通过找到目标函数梯度为0（也就是鞍点）的那些点来解决此优化问题。我们需要用黑塞矩阵来确定此点的类型。如果黑塞矩阵是正定的话，该点是一个局部最小解，如果是负定的话，该点是一个局部最大解，如果黑塞矩阵是不定的话，该点是某种鞍点。

要找到那些拐点，我们可以通过猜测一个初始点，然后用比如以下的迭代的方法来找到。

如果目标函数在我们所关心的区域中是凸函数的话，那么任何局部最小解也是全局最优解。现在已经有稳定，快速的数值计算方法来求二次可微地凸函数的最小值。

有约束条件的约束问题常常可以通过拉格朗日乘数转化为非约束问题。

其他一些流行的方法有：

人工智能和最优化[编辑]

现代的计算机科学技术和人工智能科学把最优化作为一个重要的领域来研究。我们也可以认为人工智能的一些算法，就是模拟了人类寻求实际问题最优解的过程。例如，利用人工智能方法设计软件，配合外部的电子设备例如摄像头识别人脸；利用数据挖掘和神经网络算法来寻找投资的最佳时机等等。

参见[编辑]

参考文献[编辑]

Stephen Boyd and Lieven Vandenberghe (2004). Convex Optimization，Cambridge University Press. ISBN 0-521-83378-7.

外部链接[编辑]

[隐藏] 查论编微观经济学· 相关主题列表

主要概念	Aggregation Budget 消费者理论凸性和非凸性机会成本成本利益分析分布无谓损失收入消费曲线双头垄断经济均衡规模经济 Economies of scope 弹性贸易预期效用假说外部性企业理论一般均衡家居经济讯息经济福利经济无差异曲线跨期选择边际成本市场失灵市场形式卖方垄断买方垄断寡头垄断偏好 Production set 利润公共物品规模报酬风险厌恶稀缺性短缺社会抉择沉没成本供给和需求剩余不确定性效用

相关条目	行为经济企业经济学 Computational economics 决策论计量经济博弈论 Outline of industrial organization 数理经济 Microfoundations of macroeconomics 管理经济运筹学最优化

mengxiaozuo

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
最优化

主要研究以下形式的问题：给定一个函数，寻找一个元素使得对于所有中的，（最小化）；或者（最大化）。这类定式有时还称为“数学规划”（譬如，线性规划）。许多现实和理论问题都可以建模成这样的一般性框架。典型的，一般为欧几里得空间中的子集，通常由一个必须满足的约束等式或者不等式来规定。的元素被称为是可行解。函数被称为目标函数，或者代价函数。一个最小化（或者最大化）目标函数的可行
复制链接

扫一扫