原文链接:http://lanbing510.info/2014/11/07/Neural-Network.html
开篇语
文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。
发展历史
单层感知器
基本模型如下
训练
如果激励函数是线性的话,可用最小二乘直接计算:
如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):
上式只做了简单的求导展开,很容易推导:
多层感知器
基本模型如下
举例(含有一个隐含层的多层感知器MLP)
模式:
![](https://i-blog.csdnimg.cn/blog_migrate/13d7280075138442ec892399124865ea.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b17d2a87c86e40f0fafc9b536cdd5bf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a5763b7410196796b866b6f5f39a0f3c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efc4130aa53a89e0c5dc50b334fd44d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/03174b7b08c1de5099d10af7d155c4d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4157c9032e8de7904be0679c8909a8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b17d2a87c86e40f0fafc9b536cdd5bf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a5763b7410196796b866b6f5f39a0f3c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efc4130aa53a89e0c5dc50b334fd44d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a5763b7410196796b866b6f5f39a0f3c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efc4130aa53a89e0c5dc50b334fd44d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4b16f6800d76bd732c99f7202060e841.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4157c9032e8de7904be0679c8909a8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4157c9032e8de7904be0679c8909a8a.png)
求解:
然后分别对两个层的权值求导:
然后更新即可,反向传播(BP)
经验
优缺点
RBF神经网络
模型
求解
优点和视角
深度学习简介
前向神经网络
发展历程
整体一览
一些值得关注
学术
工业
Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥
Belief Network
Hopfield Network
Boltzman机
RBM 受限的玻尔兹曼机
RBM
模型
利用上图中公式,可以得到
求解 CD算法
DBN
模型
训练
面向特征提取
面向分类
DBM
模型
CNN
模型
训练
参考文献