卷积神经网络-BN、Dropout、leaky_relu (tensorflow)

神经网络是一种比较难以理解的结构，关于神经网络的各种层次的说明解释，大家请移步百度、google

本次的分享会从人类视觉角度、生物角度谈一谈神经网络中的一些优化算法。

 

首先，计算机领域设计出来的算法、模型和数据结构，都可以理解为一种建模操作（这是一种解释方式）。比如：决策树，可以理解为把数据结构仿造树枝树干的结构进行设计的，以树为模型；SVM，可以理解为把数据堆从多维的角度，进行高维分类，以超平面为模型；然后，神经网络，以生物神经结构为出发点，仿生物进行计算机建模。

因此，数学模型，计算机模型，跟现实中的东西不能一一对应，也不需要一一对应，我们只需要用一些存在的形式，来作为设计模型的解释。也许很多东西不能理解，比如全连接层的结构跟神经结构是天壤之别的，但是我们仿造这种神经结构设计全连接层的结构，它的效果非常显著，这就足够了。

 

一、relu和leaky_relu

其图像分别如下：