机器学习笔记1—泰勒展开式和牛顿法

机器学习笔记1—泰勒展开式和牛顿法

写在前面：自学机器学习的菜鸟一枚，希望通过记录博客的形式来记录自己一点点的进步~
下面都是学习过程中自己的一些思考和学习，希望大神们批评指正。

1.1 泰勒展开式

1.1.1泰勒展开式入门

首先，百度了一波，搜到了一个泰勒展开式入门的短短6分钟的视频，好像突然感受到了一点点数学的美。还有发现其实真的没有必要死记公式啊。泰勒展开式的入门浓浓的台湾腔调啊。

---

泰勒公式的表达式：就是下面这个看起来很复杂的公式。

$$f(x)=\sum_{n=0}^\infty \frac{f^n(a)}{n!}(x-a)^n \;\;\;\;\;\;\;\;\;\;\;（1）$$

---

【对于泰勒展开式存在性的一些思考】
一切事物都是存在即是合理，严密而美好的数学更是如此。
关于多项式 $(x-a)^2$
在历史的进程中，多项式是人们最熟悉的函数。对于一些比较复杂的函数，要对这些函数进行处理的时候，我们希望能够近似的将这些函数用我们熟悉的函数来表示。这就是为什么泰勒展开式中会有多项式的成分。当我们可以用这个多项式表示一个函数时，就应该更进一步的思考一下这个多项式之前的系数。

关于系数$\frac{f^n(a)}{n!}$
这个系数刻画了“一叶知秋”的含义。“一叶知秋”：一片叶子掉下来，就知道秋天来了。
对于x=a这个点的领域，我们知道了它的一些信息：一阶变化率（知道了函数是增还是减），二阶变化率（知道了是凹还是凸）…..到n阶变化率）通过这些信息，基本就可以想象出这个函数的样子，一点看全的这种感觉。

---

1.1.2 泰勒展开式的推导

下面对泰勒展开式进行推导，这里是学习了[YuanLiangDing的博客](http://blog.sina.com.cn/s/blog_5d323f950101ieyo.html)
里面介绍的很详细，在这里就不浪费时间敲字了。
只稍微补充一下文中提到的：从函数的线性近似$f(a+\Delta x)=f(a)+f'(a)\Delta x$来估计函数值。

如上图所示（字丑图丑）要估计a点的函数值，我们无法直接代入a来计算。所以就通过取$a+\Delta x$这一点的函数值，使$\Delta x\to 0$时$f(a)$和$f(a+\Delta x)$近似相等。函数在a点的斜率为$\tan \alpha \;$忘记画出$\alpha$了。
易知

$$\frac{f(a+\Delta x)-f(a)}{\Delta x} =\tan \alpha\;\;\;\;\;\;\;\;\;\;\;(2)$$
又有 $f'(a)=\tan \alpha\;\;\;\;\;\;\;\;\;\;\;(3)$

将式(3)代入式(2)就得出了线性近似，也就是泰勒的一阶展开：

$$f(a+\Delta x)=f(a)+f'(a)\Delta x$$

---

上面的的图片上已经有点函数定积分的几何意义的那个图的感觉了吧。这里就比较好理解为什么泰勒展开式会是由微积分基本定理，就是牛顿莱布尼茨公式通过一系列的换元，转换，得到了泰勒展开式。

---

1.2 牛顿法

这里是学习了luoleicn的专栏里关于牛顿法的文章很通俗易懂。
总结如下：
牛顿法主要有两方面的应用：
1、求方程的根（函数比较复杂，没有求根公式）。
2、应用于最优化方法求解无约束问题的最优解（通常是求函数的极大极小值）

---

1.2.1 求方程的根

这里马上就用到了刚刚泰勒展开式推导过程中用到的函数的线性近似公式，也就是泰勒公式的一阶展开。

原理：$f(a+\Delta x)=f(a)+f'(a)\Delta x$

步骤：

(1). 第一步选取初始点，构造一阶泰勒展开式。
在$x_0$处展开到一阶泰勒公式：$f(x)=f(x_0)+f'(x_0)(x-x_0)$
求解$f(x)=0 \Longrightarrow f(x_0)+f'(x_0)(x-x_0)=0$
设$x_1$是上式的解：
$x_1=x_0-\frac{f'(x_0)}{f(x_0)}$
虽然这个$x_1$并不是$f(x)=0$ 的解，但它比$f(x_0)$更靠近0。
(2).迭代公式
$x_{n+1}=x_n-\frac{f'(x_n)}{f(x_n)}$
根据上面公式迭代，必定能找到一个$x^*$使得$f(x^*)\to0$。

---

1.2.2 求最优化方法（非线性函数的无约束问题）

1、二维情况
任务：优化目标函数$f$,通常是求$f$的极大极小值的问题。（基本所有的最优化问题都可以用 minf(x)的