卷积神经网络 tensorflow_神经网络原理演示动画合集

开帖搜集几个网上炫酷的神经网络原理演示动画

来自 Tensorflow 的分类神经网络

网址：Tensorflow — Neural Network Playground

初学者可以检验自己是否理解什么是 Epoch, Learning rate, Activation, Regularization, Regularization rate, Hidden Layers, number of neurons 以及改变它们会对分类结果造成的影响。对于下面这种对角分类，可以看一下不加隐藏层，神经网络是否可以成功分类。

网站截图如下：

如何初始化神经网络参数

网址：https://www.deeplearning.ai/ai-notes/initialization/

这是 deeplearning.ai 做的系列教学网页中的一篇。讲述为何神经网络参数初始化的时候数值太小有梯度消失，数值太大有梯度爆炸，以及为何 Xavier 初始化提供了大小合适的神经网络参数初始化方案，刚好能够解决这两种问题。

Xavier 参数初始化方案为

Xavier 参数初始化方案，第 [l] 层的权重 W 初始化为满足正态分布的随机数。正态分布的平均值为0，方差为第 l-1 层神经元个数 n 的倒数。Bias b 初始化为0. Xavier 初始化又叫 Glorot 初始化。

不同优化算法的对比

网址：https://gitlab.com/snowhitiger/learn_deep_learning

这是我做的各种优化算法可视化对比的 JupyterNotebook 动画。点击上面网址中的蓝色 binder 按钮，等待一会儿, 再点击 sgd_visualization.ipynb ，可以在线打开 notebook。手动调节学习率 lr, 动量参数以及 Adam 的

与

参数，能够直观的学到不同优化算法的参数应该如何设置。网页截图：

Adam 优化算法。beta1 默认一般选0.99，但可视化显示 beta1 选 0.5 可以减少Adam 在极小值附近的盘旋。beta2 一定要非常接近1，太小则震荡。

知乎介绍：https://zhuanlan.zhihu.com/p/64882877

相似的对比不同优化算法的可视化网页还有：

Why Momentum Really Works: https://distill.pub/2017/momentum/ 网页截图：

deeplearning.ai https://www.deeplearning.ai/ai-notes/optimization/

之前网络太差，没有发现 deeplearning.ai 出第二期教学网页了，又是一篇精品。网页截图

在浏览器里训练卷积神经网络

斯坦福大学AI网红 Karpathy 写的 javascript 代码 convnetjs 可以使你在浏览器里训练一个卷积神经网络。

网址： https://cs.stanford.edu/people/karpathy/convnetjs/

神经网络的全局解释

distill.pub 每篇文章都是经典。这篇文章介绍神经网络的全局解释，试图理解每个神经元（或卷积核）学到了什么特征。

The Building Blocks of Interpretability 网址：https://distill.pub/2018/building-blocks/

网址截图：

强化学习值函数与时间差分

The Paths Perspective on Value Learning 网址：https://distill.pub/2019/paths-perspective-on-value-learning/

网址截图：

总结：

网络上有很多学习深度神经网络的资源。这些交互式动画能以最直观的方式，最快的速度，解释概念，传播深度学习方向的知识。此搜集中的网页截图归原网页制作者所有。