最优化基础理论与方法学习笔记——约束优化问题转化为无约束优化问题和曲线拟合问题

设有一个可行域D：
若D=Rn，也就是所有元素都在这个可行域里面，那么就没有起约束作用的约束函数或者是根本就没有约束函数，此时最优化数学模型中的x叫做自由变量，此时的最优化问题叫做无约束优化问题。
若D真包含于Rn，也就是不是所有的元素都在这个可行域里面，也就是有元素x被限制在可行域外面了，此时的最优化问题叫做约束优化问题。

约束优化问题转为为无约束优化问题的方法：Lagrange乘子化（拉格朗日乘子化）。然后得到多元函数，然后对各个变量求偏导数。

曲线拟合问题：
比如某个实验得出一系列数据，但是由于实验误差导致使每个点都在某个函数上的函数很难找到，而且就算找到了，由于数据有误差，这样子的函数也没有意义，所以我们就只需要找到一条最贴近这一系列点的函数（就是这个函数使整体误差最小）就可以了，这样子还有排除误差的作用，反而会更精确。

有的时候绝对值算不出来（听老师说是很多时候都是这样），所以可以用平方，因为反正绝对值越大，对应的的平方也就越大，并且，平方越大，也就意味着这个数越大，所以完全可以平方化来简化运算。

曲线拟合基本思想：
1.找基函数。
基函数可以是x的n次幂（1，x,x2,x3…)，可以是sinx，或者是指数e的nx次方。
2.线性组合，在每个基函数前面乘上一系列系数，然后相加。
3.用函数在xi点的函数值s(xi)-yi，然后平方，得到误差的平方，然后求和。
4.求偏导数。