多层感知器之问题解决

根据阅读《神经网络与机器学习》了解并解决部分问题，通过博客记录。

什么是多层感知器？

根据对Rosenblatt感知器，最小均方算法的学习，多层感知器是一种在以上基础的上的一种推广。

其中关键就是包含了一个或多个隐藏层的感知器。

为什么要使用多层感知器而不使用Rosenblatt感知器呢？

对于Rosenblatt感知器来说，它只能处理线性可分的双半月问题，对于线性不可分问题来讲，需要多层感知器这样的结构才能够区分。

多层感知结构是什么样的？

首先通过输入层将x向量输入（其中表示为输入的多个值），通过一层多个神经元处理，那么就是没有隐藏层。通过两层及以上隐藏层处理那么就是多层感知结构。在不同层数之前输入与输出连接时，又可以分为全连接和非全连接。

什么是反向传播算法（BP神经网络）呢？

在多层感知器中，对输出层的结果y与期望值d想比较，根据误差e反向传递从而改变神经元每层的权值向量那么就是一个反向传播算法。

反向传播算法有可以分为两种方式，一种是随机法，另一种是批量法。随机法是每次通过一个样本一个样本反向传播。批量法是所有样本一回合一回合批量反向传播。

反向传播算法性能改善方法？

1、随机和批量方式更新

2、最大信息内容

3、激活函数合适

4、期望响应合适

5、输入标准化，消除均值，去相关性，协方差均衡

6、权值初始化合适

7、学习率合适或者自适应

8、先验知识符合训练过程

随机法是比较流行的一个算法，为什么呢？

第一，算法简单，并且只使用少量储存。第二，每个时间每个样本只使用一次，学习率有很大作用。比如学习率最优退火和自适应控制。

学习率最优退火和自适应控制有哪些不同点？

最优退火可以可以和批量学习的算法速度一样快。

而对于最优解不断变化的情况来说，自适应控制法更加有效。

什么是交叉验证？

对于已有的数据来说，可以把训练集分为1.估计子集2.验证子集

通过估计子集训练感知器，验证子集判断感知器是否训练成功。这种方法来进行监督学习。

什么是动态神经网络？

非线性滤波器也就是动态神经网络由 短期记忆和静态神经网络两个子系统组合而成。

短期记忆为一种单个输入多个输出的函数，gamma函数或抽头延迟线函数等。

作为最优化问题看待监督学习？

以下四种算法速度由慢到快排序：

随机梯度下降法，拟牛顿法，共轭向量法，牛顿法

学习问题中过剩误差是什么？

过剩误差等于 最优化误差 逼近误差 估计误差

最优化误差是指  结构风险<=结构风险+p

逼近误差 第二个逼近与第一个逼近之差 时间平均能量函数与能量函数之差

估计误差 泛化样本不属于训练样本导致的误差

在小规模学习中逼近误差与估计误差之和为过剩误差。而在大规模学习中还要考虑最优化误差。

什么是卷积网络？

卷积网络是一个为识别二维形状而特殊设计的一个多层感知器。

主要分为以下形式的约束：

特征提取，特征映射，子抽样