基本知识
例:Logistic回归
x
0
:
偏
置
单
元
、
偏
置
神
经
元
x_0:偏置单元、偏置神经元
x0:偏置单元、偏置神经元
非输入层、输出层被称为隐藏层,即图中第二层。
正向传播——计算预测值
误差
其他结构
例:X1 AND X2
例:X1 XNOR X2(将AND OR结合)
多元分类
代价函数
左图:二分类,右图:多分类
反向传播算法——代价函数最小化
正向传播就是根据输入,经过权值、激活函数、隐藏层,最终获得输出;
反向传播就是根据输出,经过和期望值的比较,再经过各种算法、权值,最终来修改权值使输出和期望值的差距变到最小。
推导过程:
δ
2
、
δ
3
推
导
\delta_2、\delta_3推导
δ2、δ3推导
公式推导
反向传输的作用
梯度检测
随机初始化
对权重进行初始化时采用随机初始化
训练神经网络
步骤