peghoty

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

本文对自编码器（Auto-Encoder）算法及其相关变种算法进行简要介绍，其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder，重点讨论各算法的基本思想及优化时所需目标函数的构造。

本文来自 Rorschach 的  http://blog.csdn.net/huangbo10/article/details/229440072014.4.4，余凯在清华FIT楼做了“Deep Learning Unfolds the Big Data Era”的讲座。感觉这个讲座还是比较high-level的，毕竟90分钟也很难把这么大的问题讲清楚。

本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题

UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与者的辛勤劳动。本

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

本文来自 http://www.huxiu.com/article/14357/1.html虎嗅注：人工智能现在是科技界最前沿的话题之一。以谷歌为代表，科技巨头均在这个方向上进行巨大投入。虎嗅曾发表过一篇文章，“谷歌正在如何复制人类大脑”，介绍的是谷歌工程主管雷·库兹韦尔正在如何通过机器学习颠覆传统搜索。而斯坦福大学人工智能实验室主任Andrew Ng（华裔，中

UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与者的辛勤劳动。本

UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与者的辛勤

开源软件包 SENNA 和 word2vec 中都有用到了词向量（distributed word representation），当时我就在想,对于我们的中文，是不是也该有字向量（distributed character representation）的概念呢？最近恰好读到复旦大学郑骁庆博士等人的文章 [1]《Deep Learning for Chinese Word Segmentation and POS tagging》。这篇文章利用文 [3] 作者提出的算法框架，针对中文分词和词性标注任务，给

最近针对之前发表的一篇博文《Deep Learning 在中文分词和词性标注任务中的应用》中的算法做了一个实现，感觉效果还不错。本文主要是将我在程序实现过程中的一些数学细节整理出来，借此优化一下自己的代码，也希望为对此感兴趣的朋友提供点参考。文中重点介绍训练算法中的模型参数计算，以及 Viterbi 解码算法。

最近开始在学习 Deep Learning 的基础知识，找了些文献来读，觉得有些晦涩。目前对于 DBN 的算法框架已经有个大概了解，但具体实现细节还不是太清楚，在网上搜到了日本学者 Yusuke Sugomori 在 Github 上的一个 deeplearning 项目，认真读了其 C 语言的版本，感觉收获蛮大，特将程序翻译成数学描述，希望对正在读或者将要读这个代码的朋友有些帮助。

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与者的辛勤