2013年07月_xceman1997

转载关于USERCF和ITEMCF的那点事

原文地址：http://xlvector.net/blog/?p=488关于USERCF和ITEMCF的那点事UserCF和ItemCF是协同过滤中最为古老的两种算法，在top-N的推荐上被广泛应用。这两个算法之所以重要，是因为他们使用了两个不同的推荐系统基本假设。UserCF认为一个人会喜欢和他有相同爱好的人喜欢的东西，而ItemCF认为一个人会喜欢和他以前喜欢的东西

2013-07-31 13:39:28 1051

转载 Deep Learning in NLP （一）词向量和语言模型

Deep Learning in NLP （一）词向量和语言模型Posted on 2013 年 7 月 29 日by licstar　　这篇博客是我看了半年的论文后，自己对 Deep Learning 在 NLP 领域中应用的理解和总结，在此分享。其中必然有局限性，欢迎各种交流，随便拍。　　Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NL

2013-07-29 20:15:33 4713

转载 Topic Model的分类总结（LDA变种）

原文地址：http://hi.baidu.com/ouyanggaoyan/item/5b5c01d4c518871cd78ed0d7#713670-tsina-1-29064-128ff9f28d958dae738be418601ffbcdTopic Model的分类总结（LDA变种）Topic models主要可以分为四大类：1.无监督无层次

2013-07-28 00:34:04 3461

原创【deep learning学习笔记】注释yusugomori的DA代码 --- dA.cpp -- 模型测试

测试代码。能看到，训练的时候是单个样本、单个样本的训练的，在NN中是属于“stochastic gradient descent”，否则，一批样本在一起的，就是“standard gradient descent”。void test_dA() { srand(0); double learning_rate = 0.1; double corruption_level = 0.

2013-07-21 15:30:50 1455 1

原创【deep learning学习笔记】注释yusugomori的DA代码 --- dA.cpp -- 训练

说实话，具体的训练公式，我没有自己推导，姑且认为他写的代码是对的。总体上看，用bp的方法。特殊之处，在于输入层和输出层是完完全全的“同一层”。void dA::get_corrupted_input ( int *x, // the original input 0-1 vector -- input int *tilde_x, // the resulted 0-

2013-07-21 15:22:26 1741 2

原创【deep learning学习笔记】注释yusugomori的DA代码 --- dA.cpp --模型准备

辅助函数和构造函数。#include #include #include "dA.h"using namespace std;// To generate a value between min and max in a uniform distributiondouble uniform(double min, double max) { return rand() /

2013-07-21 15:19:55 1353

原创【deep learning学习笔记】注释yusugomori的DA代码 --- dA.h

DA就是“Denoising Autoencoders”的缩写。继续给yusugomori做注释，边注释边学习。看了一些DA的材料，基本上都在前面“转载”了。学习中间总有个疑问：DA和RBM到底啥区别？（别笑，我不是“学院派”的看Deep Learning理论，如果“顺次”看下来，可能不会有这个问题），现在了解的差不多了，详情见：【deep learning学习笔记】Autoencoder。之后，

2013-07-21 15:18:43 1465

原创摩尔定律的失效，及微软该做的事情

夜深了，写一些这段时间的感受。总觉得，摩尔定律已经失效了，只不过没有人站出来大声讲而已——老的PC企业，如：十八摸、惠普、戴尔、宏碁、联想等，故意不说，否则还怎么卖硬件？新型的移动设备企业，三星、苹果等等，也不必说，手机卖得好才是王道，至于PC卖得怎么样，跟他们没有直接关系——用户可以同时拥有PC和手机。摩尔定律失效的表现就是，大家看看，自己多久没有因为硬件性能的原因而换过硬件（尤其是

2013-07-20 23:48:35 1133

转载 Denoising Autoencoders (dA)

原文地址：http://deeplearning.net/tutorial/dA.htmlDenoising Autoencoders (dA)NoteThis section assumes the reader has already read through Classifying MNIST digits using Logistic Regressio

2013-07-20 21:58:19 2939 1

转载 Deep Learning（深度学习）学习笔记整理系列之（四） --AutoEncoder自动编码器

原文地址：http://blog.csdn.net/zouxy09/article/details/8775524Deep Learning（深度学习）学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Learning的学习

2013-07-20 21:57:03 3837

原创【读书笔记】基于Autoencoder 网络的数据降维和重构

是一篇学术文章，我在学习autoencoder的时候找到的，看了看。主要是想弄清楚两个问题：1. autoencoder与RBM的区别；2. autoencoder最后训练出的结果怎么用。文章基本信息：题目：基于Autoencoder 网络的数据降维和重构作者：胡昭华单位：南京理工大学电子工程与光电技术学院时间：2009，发表于《电子与信息学报》笔记如下：

2013-07-20 18:18:34 6064 1

原创【deep learning学习笔记】Autoencoder

继续学习deep learning，看yusugomori的code，看到里面DA（Denoising Autoencoders）和SDA（Stacked Denoising Autoencoders）的code，与RBM非常像。心里有个问题，autoencoder和RBM有什么区别和联系？又上网上找了些资料（前面转载那两篇），学习了一下。下面记一下笔记。1. autoencoder是

2013-07-20 18:02:49 8649

转载自编码算法与稀疏性

转自ufldl，原文地址：http://deeplearning.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E6%80%A7目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标

2013-07-19 20:18:48 3208 1

转载 Autoencode --wikipedia

转自wikipedia，原文地址：http://en.wikipedia.org/wiki/AutoencoderFrom Wikipedia, the free encyclopediaAn auto-encoder is an artificial neural network used for learning efficient coding

2013-07-19 20:17:13 1586

转载机器学习——深度学习(Deep Learning)

原文地址：http://blog.csdn.net/abcjennifer/article/details/7826917Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类、回归，密度估计

2013-07-16 17:33:13 1278

原创【deep learning学习笔记】注释yusugomori的LR代码 --- 模型测试

测试部分代码：void test_lr() { srand(0); double learning_rate = 0.1; double n_epochs = 500; int train_N = 6; int test_N = 2; int n_in = 6; int n_out = 2; // int **train_X; // int **t

2013-07-16 16:21:51 1360

原创【deep learning学习笔记】注释yusugomori的LR代码 --- LogisticRegression.cpp

模型实现代码，关键是train函数和predict函数，都很容易。#include #include #include #include "LogisticRegression.h"using namespace std;LogisticRegression::LogisticRegression( int size, // N int in, //

2013-07-16 16:01:58 1489 1

原创【deep learning学习笔记】注释yusugomori的LR代码 --- LogisticRegression.h

继续看yusugomori的代码，看逻辑回归。在DBN（Deep Blief Network）中，下面几层是RBM，最上层就是LR了。关于回归、二类回归、以及逻辑回归，资料就是前面转的几篇。套路就是设定目标函数（softmax损失函数），对参数求偏导数，得出权重更新公式等。LogisticRegression.h注释如下：class LogisticRegression {publ

2013-07-16 15:55:55 1853

转载 Machine Learning系列实验--SoftMax Regression

这个文章不错，有公式、有代码、有参考文献。原文地址：http://blog.sina.com.cn/s/blog_6982136301015asd.htmlSoftMax回归可以用来进行两种以上的分类，很是神奇！实现过程实在有点坎坷，主要是开始写代码的时候理解并不透彻，而且思路不清晰，引以为戒吧！SoftMax Regression属于指数家族，证明见（ http://cs

2013-07-16 12:36:29 1078

转载 UFLDL教程 -- 译文版

原文地址：http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B说明：本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想

2013-07-15 18:08:41 2122

转载 Softmax回归 -- from ufldl wiki

Stanford 教授 Andrew Ng 的 Deep Learning 教程的节选。原文地址：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logis

2013-07-15 18:06:36 1998

转载对线性回归,logistic回归和一般回归的认识

在百度文库上看到的一篇材料，是斯坦福大学机器学习课程的笔记和总结，看着不错。原文地址：http://wenku.baidu.com/view/a7fb656d58fafab069dc02ed.html哦，word内容中的图片无法贴到这里。找了个html版本的。原文地址：http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867

2013-07-15 17:52:04 1234

原创【deep learning学习笔记】读张春霞《受限波尔兹曼机简介》

这段时间在看RBM得东西，很多材料都罗列了很多共识、理论，显得自己很牛B的样子。不过到具体实现，get hands dirty，就没有了。BS这种装B资料！张春霞《受限波尔兹曼机简介》（收录于“中国科技论文在线”）是介绍RBM不可多得的好材料，理清理论思路，容易具体实现，给出实现经验，挺好的。下面是我的阅读笔记，基本上都是摘抄论文中的内容。0. 引言讲了讲历史，RBM对DBN的模拟

2013-07-14 18:33:56 5950 1

原创【deep learning学习笔记】注释yusugomori的RBM代码 --- cpp文件 -- 模型测试

产生数据，调用上文的函数，训练RBM模型，并re-construct测试数据，用来验证训练的RBM模型。void test_rbm() { srand(0); double learning_rate = 0.1; int training_epochs = 1000; int k = 1; int train_N = 6; int test_N = 2;

2013-07-13 23:02:46 2503 4

原创【deep learning学习笔记】注释yusugomori的RBM代码 --- cpp文件 -- 模型训练

关键是 CD-k（contrastive_divergence）算法的实现。// the CD-k algorithmvoid RBM::contrastive_divergence ( int *input, // the input visiable sample double lr, // the learning rate int k //

2013-07-13 23:00:55 2475 5

原创【deep learning学习笔记】注释yusugomori的RBM代码 --- cpp文件 -- 准备工作

一些辅助函数，做模型的准备工作。#include #include #include "RBM.h"using namespace std;// To generate a value between min and max in a uniform distributiondouble uniform(double min, double max) { return ran

2013-07-13 22:59:16 2249

原创【deep learning学习笔记】注释yusugomori的RBM代码 --- 头文件

百度了半天yusugomori，也不知道他是谁。不过这位老兄写了deep learning的代码，包括RBM、逻辑回归、DBN、autoencoder等，实现语言包括c、c++、java、python等。是学习的好材料。代码下载地址：https://github.com/yusugomori/DeepLearning。不过这位老兄不喜欢写注释，而且这些模型的原理、公式什么的，不了解的话就看不懂代码

2013-07-13 18:31:54 3971

原创【deep learning学习笔记】Restricted Boltzmann Machine（待整理）

这几天看Deep Learning，看RBM（转载了一些资料，都是这几天看的，还有下载的资料，就不上传了），做做笔记。暂时没太强的逻辑，以后慢慢整理。1. RBM是两层神经网络，隐含层和显示层，两层之间有连接。2. 有三类参数：（1）两层之间的连接权值，|h| * |v| 个，|h| 和 |v|分别是隐含层和显示层的节点个数；（2）显示层节点的偏置；（3）隐含层节点的偏置3.

2013-07-11 00:32:03 1821

转载 Restricted Boltzmann Machine (RBM)限制波尔兹曼机

原文地址：http://blog.csdn.net/zouxy09/article/details/8781396对某些重要的点加粗体表示。假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Res

2013-07-10 23:29:30 2074

转载受限波尔兹曼机

原文地址：http://blog.csdn.net/celerychen2009/article/details/8984316深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第三篇，谈谈自己对最近几年颇为流行的受限波尔兹曼网络RBM的理解。我不打

2013-07-10 22:46:55 1343

转载 Deep Learning for NLP 文章列举

原文地址：http://www.xperseverance.net/blogs/2013/07/2124/?utm_source=rss&utm_medium=rss&utm_campaign=deep-learning-for-nlp-%25e6%2596%2587%25e7%25ab%25a0%25e5%2588%2597%25e4%25b8%25be发表日期：2013 年

2013-07-10 09:08:31 1335

转载深度学习软件资源列表

原文地址：http://blog.csdn.net/anshan1984/article/details/8583619深度学习( Deep Learning )软件资源列表Sason@CSDN列表源自http://deeplearning.net/software_links/，本文进行分类整理。星号代表对软件库的推荐度，考虑了适用范围、开发语言、更新

2013-07-08 00:55:19 1264

转载 Deep learning：十九(RBM简单理解)

原文地址：http://www.cnblogs.com/tornadomeet/archive/2013/03/27/2984725.html 　　这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep le

2013-07-07 23:16:39 1226

原创【deep learning学习笔记】最近读的几个ppt（四）

这几个ppt都是在微博上看到的，是百度的一个员工整理的。《Deep Belief Nets》，31页的一个ppt1. 相关背景还是在说deep learning好啦，如特征表示云云。列了一些参考文献，关于deep learning训练的，还不错。2. 基本概念两种产生式神经网络：（1）sigmod belief network；（2）Boltzm

2013-07-07 12:27:00 1754

转载 Automatic differentiation

看算法看到这个了，转载一下，备忘。From Wikipedia, the free encyclopediaJump to: navigation, searchIn mathematics andcomputer algebra, automatic differentiation (AD), also calledalgorithmic

2013-07-03 00:26:54 2255

xceman1997的专栏