关于离散图像与深度学习模型可微的一些思考

在数字图像处理中，图像是由一个个离散像素点组成的矩阵，该矩阵是离散的。

我们说，图像是一个连续分布的采样，比较贴切的理解来说，就类似在一个一维实数域R上取了一个数，只不过此时所取的数来自R^{MxN}。

我们说，深度学习模型需要可微，那么这个可微是指什么？就好像大家下意识会想到Loss需要可微不然无法反传一样，Loss只是整个神经网络的一环，是其中的一个可微的函数，包括经典MLP中的仿射变换以及CNN中的卷积操作，事实上都只是一个线性/非线性可微/连续函数，整个网络是一个线性/非线性映射f(·)，网络的可微应该指的是抛开输入(我们取到的离散图像)后由所有神经元以及Loss所组成的函数f是可微的。那么此时，图像作为数据输入，从属于该函数的定义域，就如同向一元二次函数中输入一个x=1一样。

神经网络要求可微或存在次微分，该需求即可有如下的性质：

If it were true that a small change in a weight (or bias) causes only a small change in output, then we could use this fact to modify the weights and biases to get our network to behave more in the manner we want.

个人学习理解，不一定正确，如有错误敬请提出。

ref：

Neural networks and deep learning