神经网络基础和反向传播推导

本文内容来自：Michael Nielsen的《Neural Networks and Deep Learning》中文翻译

神经网络基础

神经元是一个类似感知器的东西，有多个输入。每个输入有权重w，最后有一个总的偏置b。输出不再是感知器那样的0或1，而是经过激活函数计算后的值。常用激活函数比如sigmoid函数，也叫logistic函数，如下所示，其中z=wx+b：

关于激活函数：它其实就是一个非线性函数. 比如说relu, sigmoid, tanh.强行把原有的线性结果给扭曲了. 使得输出结果 y 也有了非线性的特征. 你甚至可以创造自己的激励函数来处理自己的问题, 不过要确保的是这些激励函数必须是可以微分的,因为在误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.

使用sigmoid激活函数的神经元和感知器有何相似呢？先看sigmoid函数的样子：

假设z=wx+b是一个很大的正数，那么e^-z约等于0，sigmoid函数值约等于1；同样，假设z是很小的负数，函数值约等于0，这时可以说是一个平滑的感知器。sigmoid函数也