数值解和解析解/softmax回归/泰勒展开/牛顿法

在解组件特性相关的方程式时，大多数的时候都要去解偏微分或积分式，才能求得其正确的解。依照求解方法的不同，可以分成以下两类：解析解和数值解。

解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.
所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。
用来求得解析解的方法称为解析法〈analytic techniques〉，解析法即是常见的微积分技巧，例如分离变量法等。
解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，我们皆可将其带入解析函数求得正确的相应变量。
因此，解析解也被称为闭式解（closed-form solution）

数值解(numerical solution)是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果, 而不能随意给出自变量并求出计算值.
当无法藉由微积分技巧求得解析解时，这时便只能利用数值分析的方式来求得其数值解了。数值方法变成了求解过程重要的媒介。
在数值分析的过程中，首先会将原方程式加以简化，以利后来的数值分析。
例如，会先将微分符号改为差分符号等。然后再用传统的代数方法将原方程式改写成另一方便求解的形式。
这时的求解步骤就是将一独立变量带入，求得相应变量的近似解。
因此利用此方法所求得的相应变量为一个个分离的数值〈discrete values〉，不似解析解为一连续的分布，而且因为经过上述简化的动作，所以可以想见正确性将不如解析法来的好。

数值解是在特定条件下通过近似计算得出来的一个数值，而解析解为该函数的解析式。
解析解就是给出解的具体函数形式，从解的表达式中就可以算出任何对应值； 数值解就是用数值方法求出解，给出一系列对应的自变量和解。

参考：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

https://www.cnblogs.com/ljy2013/p/5129294.html
泰勒展开的概念：
数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

泰勒展开：已知一个函数的在某个已知点的值，以及在该点的一阶、二阶值，那么可以通过泰勒展开求取函数在该点邻域的值；很强大！！！
上述中某个点在实际中，既可能只包含一个元素的点（即一维的点）；也可能是包含多个元素的点（即多维的点）；

引入牛顿法：（牛顿法的前提其实是泰勒展开）

当点是一维的时候，很简单的计算形式，就可以求出X(k+1)与X(k)满足的迭代关系（注意，我们之前，通过令导数为0，求诸如一元二次方程的解，求出来的直接是函数取得极值时的点；现在是我们不能通过求的极值等闭合解的形式求取出解，我们需要借助数值解的形式，找出函数在取所有点时的输出来确定函数；因此，可以通过这样一个策略：首先，我们知道一个初始点；然后，我们可以知道该点的迭代方向（前提是必须保证点沿着这个方向迭代我们想得到的函数值一定往收敛的方向跑）；最后，一直这样迭代求函数值下去，知道函数值达到我们的最小值；

当点是二维（或者大于二维的时候），我们可以通过同样的方式求解，只不过，求一阶导的时候增加了维度；求二阶导就变成了海森矩阵；由于海森矩阵非奇异，因此可以求逆，这样可以直接求得二维或者多维的点的迭代方向（按理说应该是一个向量）；这样依次迭代下去，按同样的思路可以求得极值。

由于牛顿法的过程中，没有迭代的步长因子，因此，对于二次项收敛（即，函数最高为二次项）的函数，一步迭代即可；而对于非二次项（比如三次项，用二次项的迭代方向有可能达不到想要的效果），其定长迭代会导致函数取值偏差很大，因此，牛顿法有上述缺点。