论文学习

极限学习机与自动编码器的融合算法研究

       1.极限学习机(Extreme Learning Machine, ELM)是从单隐层的神经网络发展而来，具有简单有效、训练参数少和良好泛化性能等特点。它的出现解决了传统前馈神经网络算法学习参数过程相对繁琐的问题。之后，增量极限学习机、正则化极限学习机和核极限学习机等极限学习机的改进算法相继被提出。

      模型：栈式稀疏自动编码器-极限学习机和栈式稀疏自动编码器-核极限学习机。

      利用深度学习中的特征学习方法去训练稀疏自动编码器组成栈式稀疏自动编码器。极限学习机和核极限学习机用来对经过特征提取的数据表示进行识别分类。

       感知器是一种线性模型并且具有两层的神经网络结构；BP 简单非线性模型，具有三层神经网络结构；SVM非线性算法模型，支持向量机。深度学习是复杂非线性的多层神经网络。

2.1稀疏自动编码器

自动编码器神经网络是一种无监督学习算法，通过后向传播算法，来不断减小重构误差(reconstruction error)，让其输出值不断接近输入值。

稀疏自编码器是一个应用梯度下降和后向传播算法来学习权值和偏置值参数的三层前馈神经网络，其结构和基本的自动编码器相同。