神经网络_学习笔记1215

1、理解神经网络，首先是我们要理解最基本的神经元模型：

这个“神经元”是一个以  及截距  为输入值的运算单元，其输出为  ，其中函数  被称为“激活函数”。激活函数，不是指这个函数去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来。就比如激活函数中有阀值函数，即根据加权后的输出值，来判断输出{1,0}中的一个值。激活函数众所周知有tanh,sigmoid,ReLU等。

tanh　　　是设置一个值，大于0.5通过的为1，不然就为0。

sigmoid　 采用S形函数。

ReLU    简单而粗暴，大于0的留下，否则一律为0。

比如如下的这样一个神经网络：

其中直线上的数字为权重，即是上式中的W。圆圈中的数字为阀值，即是定义式中函数f的一个参数（对于阀值函数来说就是阀值的值）。比如，第二层，如果输入大于1.5则输出1，否则0；第三层，如果输入大于0.5，则输出1，否则0。我们来一步步算。