程序员的机器学习入门笔记（八）：最优化与计算复杂度概述

最优化定义

无论做何事，人们总希望用最小的代价来取得最大的收益，为此人们发明了各种各样的数据工具（导数，微积分），并尝试使用这些知识来最优化解决实际问题。但是在解决实际问题最优化解的时候，经常是伴随着两个重要的特征

• 多元化：事物的发展受到多种因素的影响
• 非线性：发展规律是非线性的

为了解决上面的两个问题，二战后线性规划诞生了

最优化数学定义

最优化问题是应用数学的重要研究领域。它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称

约束条件数学模型：

• X为n维向量，为实际运用中的解。

• s.t.为英文subject to的缩写，表示受限于。

• f(x)称为目标函数，如上式，我们要求f(x)的最小值。

• h(x)为等式约束；g(x)为不等式约束。

根据目标函数与约束函数的不同形式，把最优化问题分为下面几种不同的类型
- 线性规划：f(x),h(x),g(x)都是线性函数
- 非线性规划：f(x),h(x),g(