《用Python学习数值分析-- 最优化》

2017-09-13

  最优化对应的术语是”optimization“。是工科的基础课程。数值分析与最优化是高度相关的，都大概在四年级或者研一时教授。最优化课程更加基础一些，覆盖了理论基础，想要把课程里的算法实现出来，需要深入的线性代数、矩阵计算、数值计算的知识。最优化就是机器学习的核心，在图形学方向也是基础的课程。这也是我这两三年来用固定的业余时间来补充数学课程的原因。NA 和 Optimization本就是一体的，相当于实践与理论的关系，有一本教材甚至就叫Numercial Optimization[1]，太厚。在这里稍微提一下optimization，就相当于提纲挈领的做一下总结吧。 
  optimization指寻找现实世界实值函数（objective function f (x)）的最大值或者最小值。把函数翻转，最大值就变成了最小值，所以，只有一个问题。优化问题一般分为“无约束”与“约束”两类。与直觉相反，有约束条件的问题，反而更难以求解一些。所以，我们可以把注意力集中在无约束优化上，这是基础。Timothy的书中也只提到了这一部分。无约束优化也分为两种：是否依赖于f的导数。我们应该尽量的使用导数，NA问题中都是如此。人脑对一个函数降维较为容易，第三四代编程语言写的