神经网络学习（十五）神经网络学习到了什么

系列博客是博主学习神经网络中相关的笔记和一些个人理解，仅为作者记录笔记之用，不免有很多细节不对之处。

这一节，我们看看到底神经网络学习到了什么。原本是要对卷积神经网络进行研究的，但是卷积神经网络的训练太慢了，我们就以BP网络为例，简单探寻一下吧。

那么，我们如何去探寻一个神经元学习到了什么呢？我们可以这样做：定义一个神经元的激活度，然后找到可以最大化激活这个神经元的输入 $x$，通过 $x$ 看看神经元学习了什么。对于全连接的神经元可以定义如下的一个目标函数

$${x^*} = \arg \max a_j^l$$ 这个 $x^*$ 就是我们要考察的对象。对于上面的这个目标函数，我们可以使用其他的代价函数代替，比如前面我们学校的交叉熵代价函数，它们的本质是一致的，通过不断训练使分类结果接近真实标签。这样我们就不需要对正向传播和反向传播进行做太大更改了。

由于使用常规的正向传播算法，我们只需要关心反向传播即可。如何进行反向传播误差呢？有了前面的咱们推导的基础，这个就非常简单了–依旧是我们的核心运算：链式法则：

$$\frac{{\partial C}}{{\partial {a^{l - 1}}}} = \frac{{\partial C}}{{\partial {z^l}}}\frac{{\partial {z^l}}}{{\partial {a^{l - 1}}}} = {\left( {{w^l}} \right)^T}{\delta ^l}$$ 通过这个递推式，我们就可以递推到第一个输入上。输入的更新公式为 $${x^*} = {x^*} - \eta {\delta ^1}$$

好了，下面咱们看看可以最大化激活输出神经元的输入吧

Whoops…….完全没有期待中的数字，上面这个图说明，即使我们给网络输入一堆电视雪花一样的数值，我们也可以得到一个分类结果。机器学习到的东西与我们的认识是非常不一样的。加入一些稀疏性，即对代价函数添加一个L!正则化项（${x^*} = {x^*} -\eta \lambda \text{sgn}(x^*) - \eta {\delta ^1}$），情况大为好转,隐隐约约可以看到数字的模样。