前言
本博客仅做学习笔记,如有侵权,联系后即刻更改
科普:
相关概念
神经网络
模仿人的神经网络构建出来的数学模型
- 是人工智能的一个主力算法
神经网络一般分为三种
BP神经网络
- 神经网络最经典的代表
深度学习
- BP神经网络的一种加强版
专用于解决输入极多,且输入变量之间有极强相关性的问题其它神经网络
- 除了BP神经网络外的其他神经网络
经典的有感知机、Hopfield神经网络、径向基神经网络
BP神经网络
定义
误差反向传播算法(Error Back Propagation Training),简称BP
提出
背景
- 单层感知网络(M-P模型)做为最初的神经网络,具有模型清晰、结构简单、计算量小等优点
无法处理非线性问题,即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数演进
- 1986年由Rumelhart和McClelland为首的科学家提出
是一种按照误差逆向传播算法训练的多层前馈神经网络
解决的问题
完全不知道X和y的逻辑关系
- 采集到大量历史数据样,
再找一个函数,通过调整函数的参数,
使函数与历史数据吻合。
再用测试数据,检验该函数在新样本中是否可用应用场景
- 数值预测、模式识别、曲线拟合、数据压缩(特征提取)
具体过程
信号是正向传播的,而误差是反向传播的
- 正向传播
把样本的特征从输入层进行输入,信号经过各个隐藏层逐层处理后,最后从输出层传出- 反向传播
对于网络的实际输出与期望输出之间的误差,把误差信号从最后一层逐层反传,从而获得各个层的误差学习信号,再根据误差学习信号来修正各个层神经元的权值- 反复循环
权值不断调整的过程,就是神经网学习训练的过程
正馈
输入层
一般输入值会使用均值/01之间代替计算
y = f(wi*xi)
f函数一般选Sigmoid,使输出的值处于0到1之间
反向传播
使用Loss函数评价该神经网络的优越性
损失函数的值越小,说明模型的预测值越接近真实值
- 均方差损失函数(二次损失函数)
总结
小小励志
有些事你现在不做,一辈子都不会做了。
如果你想做一件事,全世界都会为你让路。
《搭车去柏林》