CS231n课程笔记4.2：神经网络结构

CS231n简介

详见 CS231n课程笔记1：Introduction。
注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

课程笔记

关于神经网络的实现请参考： CS231n作业笔记1.6：神经网络的误差与梯度计算。

1. 神经网络结构

如上图所示，两层之间都是全连接，隐层函数都是用激活函数。两层神经网络，激活函数使用ReLU的形式为scores = W2 max(0,W1*X+b1)+b2。

2. 激活函数

激活函数有很多种，具体情况请参照 CS231n课程笔记5.1：神经网络历史&激活函数比较。综述如图：

3. 神经网络 VS 生物中神经元

1. 实际中生物中的神经元有很多种。
2. dendrites可以实现很多复杂非线性计算。
3. synapses不是只有一个单独的权重，而是一个动态的复杂的非线性方程。
4. rate code可能不充分。