神经网络基本原理

三层结构

模拟大脑神经活动
在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型。

隐藏层：信息处理过程
输入输出层：just数据的入出
权值

概念先知

• 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
• 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
• 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

应用

拟合——预测
分类——聚类分析

建立神经网络的步骤

1. 网络结构的确定：包含网络的拓扑结构和每个神经元相应函数的选取；
   指输入输出层个数必须知道
2. 权值和阈值的确定：通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小；
   连接线上的数值——权值
   正常范围——阈值 控制激活状态
3. 工作阶段
   用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟（simulate）。
   模拟 训练（不断更新权值）+仿真（加一组新的数据）

神经元

神经网络的基本元素

• 模型如下
  
  

净激活量
衡量是否被激活

激活函数

通过一个函数关系将非连续数据net转化成连续数据y
将数据限制在一个区间

为什么需要激活？
激活函数是对净激活量与输出进行映射的函数。一些常用的激活函数,由于输入数据与期望值之间可能并不是量级一样，所以需要激活。

权值：让x与y之间产生映射关系

常见激活函数：
S形函数

双极S形函数

图像

网络模型

神经元的互联方式不同，形成的网络模型不同

前馈神经网络
只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号

反馈神经网络
从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多

自组织网络
通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。

工作状态

学习
利用学习算法来调整神经元间的连接权重，使得网络输出更符合实际
工作
神经元间的连接权值不变，可以作为分类器
或者预测数据之用。

学习方式

有导师学习
将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权
例如：BP算法

无导师学习
抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。
例如：Hebb学习率