深度学习之神经网络
神经网络的出现
神经网络的首次出现来美国神经生物学家沃伦·麦克洛克(Warren McCulloch)和数学家沃尔特·皮茨(Walter Pitts)对生物神经元建模,首次提出了一种形式神经元模型,被称为M-P模型。
结果之和如果大于阈值,则输出1,否则输出0.输入和输出均为0或1.
感知器
感知器能够根据训练样本自动获取样本的组合
1.训练方式为有监督学习,即需要设定训练样本和期望输出,然后调整输出和期望之差的学习。误差修正学习的可用方式为:
a是确定连接权重调整值的参数,a越大则误差修正速度增加,a越小则误差修正速度降低。
多层感知器
为了解决线性不可分等更复杂的问题,人们提出了多层感知器模型
多层感知器模型主要分为输入层,中间层,输出层。中间层的感知器通过权重与输入层的各单元相连接,通过阈值函数计算中间层个单元的输出值。
误差反向传播算法(BP神经网络)
通过比较实际输出与期望输出得到误差信号,把误差信号从输出层逐层向前传播得到各层的误差信号,在通过调整各层的连接权重以减小误差。
权重的调整主要是通过梯度下降法。