小白初学神经网络随笔，不建议看

Machine learning—Neural network
最简单网：MLP（多层感知器）
Neural（神经元）——holds a number
盒子中的number表示activation（激活值）

第0层：28x28像素构成识别层，784个neural，里面容量表示激活值
隐含层：hidden layers
（第1二层识别短边，第三层识别图案）
注：第1层的激活值a_0^{((1))=σ(ωa_0}((0))+⋯…+b)

结果层：1-9装的数字就是识别什么结果的概率值

每层之间连接的重要程度（我们关注的地方）：叫做权重（weight）大
加权和（a*w）
bias为了防止过早的激发，要加权和到一定程度才激发下一层，即b。

每个神经元带一个weight。每个下层神经元带一个weight和一个bias

BP（back propagation）神经网络：就是用反向传播算法的神经网络。BP神经网络本质上是一个非线性优化问题。