MLP RBF RBM DBN DBM CNN 整理学习

开篇语

文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。


发展历史

在这里插入图片描述


单层感知器

基本模型如下

在这里插入图片描述
在这里插入图片描述

训练

如果激励函数是线性的话,可用最小二乘直接计算:
在这里插入图片描述
如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):
在这里插入图片描述
上式只做了简单的求导展开,很容易推导:
在这里插入图片描述


多层感知器

基本模型如下

在这里插入图片描述
在这里插入图片描述

举例(含有一个隐含层的多层感知器MLP)

模式:
在这里插入图片描述

y = h ( v ) = h ( h ( u ) ) : y=h(v)=h(h(u)): y=h(v)=h(h(u)):

求解:
在这里插入图片描述
然后分别对两个层的权值求导:
在这里插入图片描述
然后更新即可,反向传播(BP)
在这里插入图片描述
在这里插入图片描述

经验

在这里插入图片描述

优缺点

在这里插入图片描述
在这里插入图片描述


RBF神经网络

模型

在这里插入图片描述

求解

在这里插入图片描述

优点和视角

在这里插入图片描述
在这里插入图片描述


深度学习简介

前向神经网络

在这里插入图片描述

发展历程

在这里插入图片描述

整体一览

在这里插入图片描述

一些值得关注
  • 学术
    在这里插入图片描述

  • 工业
    在这里插入图片描述


Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

Belief Network

在这里插入图片描述

Hopfield Network

在这里插入图片描述

Boltzman机

在这里插入图片描述

RBM 受限的玻尔兹曼机

在这里插入图片描述


RBM

模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
利用上图中公式,可以得到
在这里插入图片描述

求解 CD算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


DBN

模型

在这里插入图片描述

训练
  • 面向特征提取
    在这里插入图片描述

  • 面向分类
    在这里插入图片描述


DBM

模型

在这里插入图片描述


CNN

模型

在这里插入图片描述

训练

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述


参考文献

在这里插入图片描述在这里插入图片描述

原文:http://lanbing510.info/2014/11/07/Neural-Network.html

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值