《神经网络与机器学习》笔记#2——导言（0.5-0.7）

0.5 反馈

单环反馈系统：A表示前馈通道，为固定权值w，B表示反馈通道，为单位时间延迟算子，有：

A/(1-AB)为闭环算子，AB为开环算子 ，通常，开环算子没有交换性，即BA≠AB。

二项式展开：

1.，输出信号以指数收敛，系统稳定；

 2.，输出信号发散。

0.6 网络结构

隐藏层：指无论从输入端或输出端都不能直接看到。

完全连接网络：指相邻层的任意一对节点都有连接，否则称为部分连接网络。

递归网络：与前馈网络的区别在于它至少有一个反馈环。可分为无自反馈环和有自反馈环。由于反馈环涉及使用单位时间延迟元素（）构成的特殊分支，若神经网路包含非线性单元，将导致非线性的动态行为。

0.7 知识表示

世界的知识由两类信息组成：

先验信息：“什么是”、“什么是已知道的”。

对世界的观察（测量）：这些观察是带有固有噪声的，传感器的噪声和系统的不完善产生误差。观察会提供一个信息池，从中提取样例训练神经网络。

而样例可以是有标号（即有与输入对应的期望响应）或无标号的（无需“教师”）。一组由输入信号和相应的期望响应组成的输入输出对被称为训练数据集或训练样本。训练神经网络的例子可分为正例和反例。

神经网络设计：

第一阶段：学习

第二阶段：测试/泛化

知识表示的规则：

规则1：相似类别中的相似输入通常应产生网络中相似的表示，因此可以归入同一类中。

确定性样本中，相似性可定义为欧几里得距离（越小越相似）或是点积/内积（越大越相似）；

随机性样本中，相似性可定义为Mahalanobis距离（越小越相似）。

规则2：网络对可分离为不同种类的输入向量给出差别很大的表示。

规则3：如果某个特征很重要，那么网络表示这个向量将涉及大量神经元。

规则4：如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。

加入先验信息的方法：

1.通过使用称为接收域的局部连接，限制网络结构；

2.通过使用权值共享，限制突触权值的选择（卷积网络）。

建立不变性的方法：

1.结构不变性：在建立网络的神经元突触连接时要求同一输入变换后必须得到同样的输出；

2.训练不变性：用一些来自同一目标的不同样本训练网络，这些样本代表目标的不同变换。

不足：1.不能保证对其他目标的变换也有不变性；2.计算要求可能难以达到。

3.不变特征空间：前提：能提取表示输入数据本质信息内容特性的特征，并且这些特征对输入的变换保持不变。

优点：

1.降低特征数；2.设计要求放宽；3.变换不变性得到保证。