机器学习算法-09-深度学习、BP神经网络、Hopfield神经网络、基于数学原理的神经网络、径向基函数RBF(B站一条会说666的咸鱼)

Deep Learning 深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是有一种深度学些的结构 ，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征的表示。

概念于2006年由Hinton提出，基于深信度网DBN提出的非监督的贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络 是第一个真正多层结构学习算法，他利用空间相对关系减少参数数目以提高训练性能。

深度学习的三大大佬
吴恩达 Cousera的创始人 参与Googel Brain 的项目，是百度的首席科学家，全面参与百度研究院的管理，包括百度大脑 计划。

Geoffery Hinton 多伦多大学计算机科学系教授 机器学习人工智能顶级专家，目前领导Googel Brain的项目。

Yann LeCun 人工智能尤其是深度学习领域最知名的学者之一，其在多伦多大学，是从Hinton,1988-2002年加盟贝尔实验室，期间研发了卷积神经网络(Convolutional Neural Networrk)与曾广泛使用的OCR的图像变换网络方法，当然图型压缩技术，DjVu可能更为大家所常见。

前馈神经网络，一般指前馈神经网络或者前馈型神经网络。它是一种最简单的神经网络，各神经元之间分层排列，每个神经元只与前一层的神经元相连，接收前一层的输入，并输出给下一层，数据正向流动，输出仅由当前的输入和网络的权值确定，各层间没有反馈 。包括单层感知器，线性神经网络，BP神经网络 ，RBF神经网络等 。

BP神经网络，所谓的BP神经网络，是在Hebb提出学习规则之后，提出来的误差反向传播法(error BackPropagration) ，是一种多层前馈的神经网络。目前应用最多的最广泛的算法，就是BP神经网络。

在神经网络中，对外部的环境提供的模式样本进行学习训练，并能储存这种模式，成为感知机，对外部的环境有适应能力，并且能自动的提取外环境的变化特征，则称为认知器。其中我们常见的神经网络，比如说BP神经网络 和hopfiled神经网络。并且这两种神经网络也是常见的有监督的神经网络，需要外接提供相应的学习样本才能进行后续的分析和学习，较常见的单层神经网络，称为三层神经前馈网络，主要包括输入层，隐层能和输出层。通常情况下，隐层的输入，输入的信号在权重系数的作用下，产生一个输出的结果u，再将期待输出的结果和实际输出的结果进行比较，得到误差信号，权值调整结构根据误差值进行调整，从而使误差值变小为0，使得输出信号和实际信号完全一致，则结束学习的过程。

递归神经网络(RNN）是两种神经网络的总称，一种是时间递归神经网络，又名循环神经网络，另一种是结构递归神经网络 。

反馈神经网络(Recurrent Network)又称自联想记忆网络，输出不仅与输入何网络权值有关，还和网络之前输入有关，其目的是设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个平衡点上，这种神经网络主要包括Hopfiled, Elmman, CG,BSB,CHNN,DHNN,等 。