3BLUE1BROWN 神经网络三讲笔记

3BLUE神经网络笔记

3blue的神经网络第一集笔记

以手写数字识别为例，28*28的像素平台上，得到的784个像素点平铺开来

然后加权乘起来，再累加

 

 

再加上偏置值，最后用sigmoid函数或者ReLU函数处理

 

 

输入是784个，中间有两层16个神经元的隐含层，输出是10个数字，最后有13002种可能的结果

 

 

3blue的神经网络第二集笔记

决定其激活值的加权和权重，可指那些连接的强弱

偏置值则表明神经元是否更容易被激活

 

为了让神经元训练的效果更好

需要计算损失函数loss function并且不断逼近局部最小

在逼近局部最小的过程中，就像小球落下一样，无法保证落到的局部最小值就是代价函数可能达到的全局最小值

如果移动的步长和斜率相