深度学习＜二＞

本篇主要涉及深度学习中相关的数学知识
讲解的函数都是充分光滑的函数

1. 导数

1.1. 导数

严格定义：

假设如下图片：y轴是位移，x是时间，现在要求特定点的瞬时速度。直观上抠出任意时刻的一点得到的瞬时速度为0，但是如果任意时刻都为0的话，那么不就没有位置变化了吗？这个问题其实就是著名的飞矢不动悖论。
但我们知道单单抠出一个点来谈速度就是扯淡。因为根据速度的定义式：速度=位移/时间。所以对应单一时刻位移差为0，同时分母也为0，因此这个定义从数学上就没有意义可言。但是具体到研究该过程中速度变化状态，我们确不能用“未定义”或“无意义”把速度当成是“零”或“某个常数"。这个时候我们发现具体到一个点，我们聚焦在它附近特别特别小的邻域内，如图二，直观上我们就可以发现，再该邻域内，运动轨迹”化曲为直“了。那么对于该”线性“轨迹，我们知道做的是匀速运动，所以 速度 = 位移差/时间差。这里记位移差为ds，时间差为dt。通过这种思想，我们巧妙的得到了所谓的任意时刻的瞬时速度。
其实，上面化曲为直、无限逼近具体时刻的思想就是极限以及微分的思想。严格严谨的数学定义就如上所示。
通过上面的讲述，以后在谈到具体某点导数时我们就要知道它表示的其实就是该点附近变化率的最佳近似
通过下图，我们可以看到切线可以在切点附近很好的近似曲线。如果在曲线上多选几个点，都作出附近的切线，我们可以透过切线看到曲线的轮廓。
因此导数就可以看作是“线性近似”的一个数学工具，通过考察切线的性质来把握非线性函数的走势。