简单神经网络的原理
简单神经网络由多个神经元组成。
单个神经元的工作
典型神经元的工作机制:
X1,X2,…,Xn:神经元的输入,包括实际的观察值和隐藏层的中层值 。
X0:偏置单位(bias units),添加到激活函数输入的常值,类似于截距项,通常为1。
W0,W1:输入的权重(weights)。
a:神经元的输出。
f:激活函数(activation function)赋予估计数据中复杂的非线性关系的能力。高斯,逻辑,双曲,线性。
神经网络的一般结构(前向传播)
定义一个通用的结构,每个神经网络都落在其中。我们还将看到要遵循的等式以确定给定输入的输出。这称为 前向传播。
L:层数
Ni:除了偏置单元之外的第i层中神经元个数。
a(j)i:第i层第j个神经元的输出