神经网络的理解（MLP RBF RBM DBN DBM CNN 整理学习）

原文 http://lanbing510.info/2014/11/07/Neural-Network.html

---

开篇语

---

文章整理自向世明老师的PPT，围绕神经网络发展历史，前馈网络（单层感知器，多层感知器，径向基函数网络RBF），反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）三部分进行讲述，给人一个神经网络的整体认识。

发展历史

---

单层感知器

---

基本模型如下

训练

如果激励函数是线性的话，可用最小二乘直接计算：

如果激励函数是sifmoid function,可迭代更新（一次性或者逐样本更新）：

上式只做了简单的求导展开，很容易推导：

多层感知器

---

基本模型如下

举例（含有一个隐含层的多层感知器MLP）

模式：

$$y=h\left(v\right)=h\left(h\right(u\left)\right)$$

求解：

然后分别对两个层的权值求导：

然后更新即可，反向传播（BP）

经验

优缺点

RBF神经网络

---

模型

求解

优点和视角

深度学习简介

---

前向神经网络

发展历程

整体一览

一些值得关注

学术

工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

---

Belief Network

Hopfield Network

Boltzman机

RBM 受限的玻尔兹曼机

RBM

---

模型

利用上图中公式，可以得到

求解 CD算法

DBN

---

模型

训练

面向特征提取

面向分类

DBM

---

模型

CNN

---

模型

训练

参考文献

---