神经网络初体验

---

前言

本博客仅做学习笔记，如有侵权，联系后即刻更改

科普：

---

参考博客:《老饼讲解神经网络》

相关概念

神经网络

模仿人的神经网络构建出来的数学模型

• 是人工智能的一个主力算法

神经网络一般分为三种

BP神经网络

• 神经网络最经典的代表

深度学习

• BP神经网络的一种加强版
  专用于解决输入极多，且输入变量之间有极强相关性的问题

其它神经网络

• 除了BP神经网络外的其他神经网络
  经典的有感知机、Hopfield神经网络、径向基神经网络

BP神经网络

定义

误差反向传播算法(Error Back Propagation Training)，简称BP

提出

背景

• 单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点
  无法处理非线性问题，即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数

演进

• 1986年由Rumelhart和McClelland为首的科学家提出
  是一种按照误差逆向传播算法训练的多层前馈神经网络

解决的问题

完全不知道X和y的逻辑关系

• 采集到大量历史数据样，
  再找一个函数，通过调整函数的参数，
  使函数与历史数据吻合。
  再用测试数据，检验该函数在新样本中是否可用

应用场景

• 数值预测、模式识别、曲线拟合、数据压缩(特征提取)

具体过程

信号是正向传播的，而误差是反向传播的

• 正向传播
  把样本的特征从输入层进行输入，信号经过各个隐藏层逐层处理后，最后从输出层传出
• 反向传播
  对于网络的实际输出与期望输出之间的误差，把误差信号从最后一层逐层反传，从而获得各个层的误差学习信号，再根据误差学习信号来修正各个层神经元的权值
• 反复循环
  权值不断调整的过程，就是神经网学习训练的过程
  

正馈

输入层

• 一般输入值会使用均值/01之间代替计算

• y = f(wi*xi)
  f函数一般选Sigmoid，使输出的值处于0到1之间
  

反向传播

使用Loss函数评价该神经网络的优越性

损失函数的值越小，说明模型的预测值越接近真实值

• 均方差损失函数（二次损失函数）
  

总结

小小励志

有些事你现在不做，一辈子都不会做了。
如果你想做一件事，全世界都会为你让路。
《搭车去柏林》