旋度的散度为零证明_从零搭建卷积神经网络前置知识

神经网络实验前置知识

最近在学校报名一个创新型实验——从零搭建卷积神经网络，正如实验名称，我也是从零开始学习深度学习，我将我在做实验中学到的点点滴滴写在这里，文章若有不当之处，希望您可以指出来共同学习^_^

激活函数

神经网络中对指定的输入或者上一层的输入进行加权求和的，然后传递给下一层或者输出的函数，常见的激活函数有sigmoid，tanh，ReLU等，其中我对sigmoid函数最为熟悉，在对感知机和逻辑回归中学习了相关概念。

sigmoid函数

此函数在感知机模型中作为分类模型，作用很简单，理解起来也很容易，即输入一个实例判别正例与负例，判断依据即wx+b的正与负，在训练中调节参数w与b，即便是这么简单的模型，两层感知机就能完成线性可分问题的“与”，“或”，“非”问题，但线性不可分的“异或”问题在感知机模型中较为复杂需要三层感知机才能完成。

而在逻辑回归中也用到了这个函数，也是用于分类问题，我在《统计学习方法》中看到了用它来解决二分类，后推广至多分类问题，真让人大开眼界，称之为softmax回归，其模型与感知