2021-03-02

人工智能入门：数学部分

最优化问题的求解：当我们寻找最优值时，往往最优值会出现在极值点或者边界的地方。对于极值点的处理，要先找到驻点（即该点的导数为0），然而对于多元多次方程组，求导往往会出先超越方程（如：lnx，sinx，arccosx等等），此时令导数为0，x值难求。

常转化为求最小值

迭代法

原理：为此我们采用xk逐次逼近某点xn，使f(xn)的导数=0，而xk+1=h(xk) 来逼近xn的过程，我们称此为迭代法（思想：逐步逼近）。

梯度下降法—数值优化

（求近似解）for循环，当该点xk的梯度值的模充分小即认为该点的导数为0  步长  求最小值，沿着梯度模最大的方向，取梯度负数，沿着其方向xk+1=xk-γ*梯度。

梯度下降法的基本思想可以类比为一个下山的过程。
假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低；因此，下山的路径就无法确定，必须利用自己周围的信息一步一步地找到下山的路。这个时候，便可利用梯度下降算法来帮助自己下山。怎么做呢，首先以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着下降方向走一步，然后又继续以当前位置为基准，再找最陡峭的地方，再走直到最后到达最低处；同理上山也是如此，只是这时候就变成梯度上升算法了
————————————————

牛顿法—数值优化

用了二阶导数的信息，收敛速度相比梯度下降法更快收敛

坐标下降法—分治法：先优化一个变量x1，再优化x2.再优化x1.....

常见问题：驻点但非局部极小值（鞍点）、局部极值点

拉格朗日 乘数法：要求在某约束下求极值

x,y可以取到函数值为C1的点，因为M1在约束线上的x、y可以取到。

 在偏导数都连续的条件下，目标函数 在约束条件 下的可能极值点，从几何上看，必是目标函数等值线曲线族中与约束条件曲线能相切的那个切点。

需要注意的是，目标函数等值线与约束条件曲线的切点未必就是目标函数，在约束条件下的极值点，如:M2。

凸优化问题：凸集、凸函数。

凸集：和运筹学上相同，集合内任选两点，连线上的点均在集合内。

局部最优解一定时全局最优解。SVM,logistic,线性回归。

拉格朗日对偶：为不等式约束也构造拉格朗日乘子

原问题等价与我们要求解的问题