关闭

Yusuke Sugomori 的 C 语言 Deep Learning 程序解读

376人阅读 评论(0) 收藏 举报
分类:

 最近开始在学习 Deep Learning 的基础知识,找了些文献来读,觉得有些晦涩。目前对于 DBN 的算法框架已经有个大概了解,但具体实现细节还不是太清楚,在网上搜到了日本学者 Yusuke Sugomori 在 Github 上的一个 deeplearning 项目,认真读了其 C 语言的版本,感觉收获蛮大,特将程序翻译成数学描述,希望对正在读或者将要读这个代码的朋友有些帮助。

        注意,本文只是客观翻译程序,并作一些相关的评注,个人觉得这个程序与目前流行的 DBN 算法有较大差别,不能直接用来实战。学习 Deep Learning 的朋友可将其作为入门,特别是用来理解 Contrastive Divergence 和 Gibbs Sampling 比较有帮助。














补充

       文中描述的算法在框架上问题不大,但在一些细节处理上可能有些问题,例如,关于 RBM 中的参数刷新公式, fine-tuning 过程中并没有将之前的层联级微调等,望读者知晓。另外,关于 RBM 算法,我后来又花了点功夫学习了一下,并整理成系列博客(见下面的链接),供大家参考。


 目录链接

(一)预备知识

(二)网络结构

(三)能量函数和概率分布

(四)对数似然函数

(五)梯度计算公式

(六)对比散度算法

(七)RBM 训练算法

(八)RBM 的评估


作者: peghoty 

出处: http://blog.csdn.net/peghoty/article/details/9079973 

欢迎转载/分享, 但请务必声明文章出处.


0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Deep Learning及NLP(自然语言处理)杂谈--第二部分

本杂谈分为三个部分,此文为第二部分。 第二部分总结 这一部分主要讲了四个对NLP方面效果比较好的模型:1.GRUs(Gated Feedback Recurrent Neural ...
  • jdbc
  • jdbc
  • 2015-10-28 13:18
  • 1538

Deep Learning(深度学习)学习笔记整理

http://blog.csdn.net/zouxy09/article/details/8775360 一、概述        Artificial Intelligence,也就是人工智能,就像长...
  • bluejoe2000
  • bluejoe2000
  • 2016-03-14 12:10
  • 5294

机器学习、深度学习、计算机视觉、自然语言处理及应用案例——干货分享(持续更新......)

机器学习、深度学习、计算机视觉、自然语言处理及应用案例——干货分享(持续更新……)author@jason_ql http://blog.csdn.net/lql07161、机器学习/深度学习1.1...
  • lql0716
  • lql0716
  • 2017-04-23 00:55
  • 8158

Yusuke Sugomori 的 C 语言 Deep Learning 程序解读

最近开始在学习 Deep Learning 的基础知识,找了些文献来读,觉得有些晦涩。目前对于 DBN 的算法框架已经有个大概了解,但具体实现细节还不是太清楚,在网上搜到了日本学者 Yusuke Su...
  • peghoty
  • peghoty
  • 2013-06-12 10:24
  • 13180

Deep Learning 各种语言的范例代码

  • 2014-10-18 12:00
  • 177KB
  • 下载

Deep Learning in NLP (一)词向量和语言模型

这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。   Deep Learning 算法已经...
  • zhoubl668
  • zhoubl668
  • 2014-04-09 15:09
  • 44284

Deep Learning及NLP(自然语言处理)杂谈--第二部分

本杂谈分为三个部分,此文为第一部分。 第一部分 第二部分 第三部分 第二部分总结 这一部分主要讲了四个对NLP方面效果比较好的模型:1.GRUs(Gated Feedback Rec...
  • lyy14011305
  • lyy14011305
  • 2016-10-25 21:01
  • 291

Deep Learning in NLP (一)词向量和语言模型

转自:http://licstar.net/archives/328 这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中...
  • chinaliping
  • chinaliping
  • 2014-03-17 16:23
  • 894

Deep Learning及NLP(自然语言处理)杂谈--第二部分

本杂谈分为三个部分,此文为第二部分。 第二部分总结 这一部分主要讲了四个对NLP方面效果比较好的模型:1.GRUs(Gated Feedback Recurrent Neural ...
  • jdbc
  • jdbc
  • 2015-10-28 13:18
  • 1538

Deep Learning in NLP (一)词向量和语言模型

这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。   Deep Learning 算法已经在图...
  • AMDS123
  • AMDS123
  • 2016-12-09 17:03
  • 6144
    个人资料
    • 访问:120886次
    • 积分:1826
    • 等级:
    • 排名:千里之外
    • 原创:55篇
    • 转载:49篇
    • 译文:0篇
    • 评论:22条
    最新评论