泰勒展开，函数线性化，雅可比矩阵

二郎就不设置什么VIP可见啥的了，这样大家都能看到。
如果觉得受益，可以给予一些打赏，也算对原创的一些鼓励，谢谢。
钱的用途：1）布施给他人；2）二郎会有更多空闲时间写教程

起因：

二郎经常做优化问题，包括了线性和非线性，线性的可以直接用最小二乘法完成求解，但是非线性问题就需要其他方法，要么转换的线性函数，要么用非线性方法求解。

转换成线性函数，不可避免需要用到泰勒展开，泰勒展开又不可避免会涉及求导以及雅可比矩阵，所以这些问题都逃不开，所以，下面二郎做了一些更好理解的内容，让大家看地舒心，用地开心。

1）什么是线性函数：

z = ax+ by
什么是非线性函数：
z =sin（ax） + cos（by）

直观得理解，因变量z，随着自变量x和y线性变化。
什么是线性变化？这里也别说别的，什么曲线啥的，这里就理解为一条直线就行。
那么我们会发现，我们大部分公式都是非线性的，这样我们就没办法使用最小二乘求解了，为什么呢？因为没办法列出用于最小二乘求解的公式。

从上面可以，常规最小二乘没办法直接求解参数。至于为什么β可以那么求解，可以看
https://blog.csdn.net/a6333230/article/details/120531262?spm=1001.2014.3001.5501

2）为什么泰勒展开可以线性化函数：

这里强调一遍，泰勒展开是针对函数上面的一个点的，并不是针对整个函数的。
所以我们这里可以不说成是线性化函数，而是说线性化函数上面的一个点，在一个点上，我们的泰勒展开函数和原函数一模一样。

我们不妨把泰勒函数求导，我们会发现一阶导，二阶导，以及多阶导，和原函数$f(x)$在$x=a$的位置求导，结果是一样的，也就是我们的泰勒展开式在$x=a$的地方是和$f(x)$完全相等的，就是一个函数，所以我们可以说，在$x=a$时，泰勒展开把$f(x)$线性化了。
这里大家会有一个疑惑，这里不是有二次项，多次项么，也不是线性函数呀。
线性化是特指把高阶项省略，只保留一阶泰勒展开

这里会有人有质疑，这种近似会造成多大误差，会不会得不到最优的结果。
我们可以回看泰勒展开，后面一项比一项小，我们先看一下二阶项的省略能引起多大误差

这里会有人问，为啥只考虑误差是由二阶项引起的，后面的呢？

官方给出的解释也是说，后面的更高阶的项影响更小，因此可以利用比截断处高一阶的项表示所有的误差。下面给一个例子，看一下误差有多大。

3）这里都是导数，为啥用到了雅可比矩阵：

上面用导数时，只是一个变量，在有多个变量，就涉及到了雅可比矩阵。
说白了，其实没有这个矩阵，只是把一堆数据用矩阵表示了，只是一种表示方法。
从行来看，是$f_1$对每一个变量的导数。类比，一个变量一个导数，多个变量多个导数
从列来看，有$f_1$，$f_2$……$f_m$，不就一个公式么，为啥这么多公式了？？？

这里，我们要有一个概念，多少未知数，就至少要有多少公式，才能完成求解。所以有这么多公式，这里我们也要认识到一个问题，我们以前都理解错误的问题。

不是公式形式变了，才是新公式
而是只要数据变了，就是新公式
数据变了，也是公式形式变了