DL
xceman1997
这个作者很懒,什么都没留下…
展开
-
【Deep Learning】Using Structured Events to Predict Stock Price Movement:An Empirical Investigation
时间:2014发表于:EMNLP原文件:http://pan.baidu.com/s/1i3phG49主要内容:利用新闻事件来预测:1. 美股大盘走势;2. 挑选的15个个股的走势。详细内容:主要工作步骤:1. 抽取财经新闻2. 对新闻title进行parser,并进行事件抽取。其中事件抽取是open information extraction原创 2015-08-07 16:04:43 · 8117 阅读 · 0 评论 -
【Deep Learning】Deep Learning 教程翻译
原文地址:http://blog.sina.com.cn/s/blog_46d0a3930101h6nf.html#bsh-24-380294307转载 2014-04-06 20:55:36 · 1283 阅读 · 0 评论 -
【转载】Deep learning these days
原文地址:http://www.52ml.net/14277.html转载 2014-04-15 21:48:17 · 854 阅读 · 0 评论 -
【Deep Learning学习笔记】A Unified Architecture for Natural Language Processing_ICML2008
题目:A Unified Architecture for Natural Language Processing:Deep Neural Networks with Multitask Learning作者:Ronan Collobert单位:NEC发表于:ICML2008主要内容:用DNN的方法,将language model, pos-tag, NER, chun原创 2013-10-13 18:37:18 · 4983 阅读 · 0 评论 -
【Deep Learning学习笔记】Dynamic Auto-Encoders for Semantic Indexing_Mirowski_NIPS2010
发表于NIPS2010 workshop on deep learning的一篇文章,看得半懂。主要内容:是针对文本表示的一种方法。文本表示可以进一步应用在文本分类和信息检索上面。通常,一篇文章表示为V大小的一个向量,|V|是词表的大小。传统的方法,向量中每个值是tf/idf计算得到的权重。不过|V|比较大的时候,对于文本分类和信息检索来讲,时空复杂度都比较大。这时候需要对|V|进原创 2013-10-08 00:49:46 · 1765 阅读 · 0 评论 -
Resources about deeplearning (from xlvector)
原文地址:Resources about deeplearningThis post is not finished. I will add more resources in future…. Restrict Boltzmann MachineA Practical Guide to Training Restricted Boltzmann Machi转载 2013-08-14 00:15:08 · 1078 阅读 · 0 评论 -
【deep learning学习笔记】最近读的几个ppt(一)
近年来Deep Learning越来越火,先是MS研究院在语音识别取得了突破,后来到国内,百度成立研究院。Deep Learning作为一种机器学习模型的突破,已经被迅速应用到各个领域。我赶时髦,看一些ppt,做做笔记。《Learning Deep Architectures_Bengio_2009》1. Bengio 是Deep Learning的领军人物之一了,这个ppt是对其原创 2013-06-10 12:48:07 · 5086 阅读 · 1 评论 -
【deep learning学习笔记】Autoencoder
继续学习deep learning,看yusugomori的code,看到里面DA(Denoising Autoencoders)和SDA(Stacked Denoising Autoencoders)的code,与RBM非常像。心里有个问题,autoencoder和RBM有什么区别和联系?又上网上找了些资料(前面转载那两篇),学习了一下。下面记一下笔记。1. autoencoder是原创 2013-07-20 18:02:49 · 8695 阅读 · 0 评论 -
【读书笔记】基于Autoencoder 网络的数据降维和重构
是一篇学术文章,我在学习autoencoder的时候找到的,看了看。主要是想弄清楚两个问题:1. autoencoder与RBM的区别;2. autoencoder最后训练出的结果怎么用。文章基本信息:题目:基于Autoencoder 网络的数据降维和重构作者:胡昭华单位:南京理工大学电子工程与光电技术学院时间:2009,发表于《电子与信息学报》笔记如下:原创 2013-07-20 18:18:34 · 6099 阅读 · 1 评论 -
【deep learning学习笔记】注释yusugomori的SDA代码 -- Sda.h
SDA的头文件。数据方面,HiddenLayer和dA共享同样的网络参数(只是参数关联的函数方法不同而已)。虽然HiddenLayer和dA都声明称二级指针,不过其指向的只是一维的数据,只不过每一个数据用指针来指向而已。接口方面,非常简洁,就三个:预训练、参数微调、模型预测。代码如下:class SdA {public: int N; // the number原创 2013-08-04 20:57:15 · 1256 阅读 · 0 评论 -
【deep learning学习笔记】注释yusugomori的SDA代码 -- Sda.cpp -- 模型准备
一些准备工作,包括辅助函数,构造/析构函数等。#include #include #include "HiddenLayer.h"#include "dA.h"#include "LogisticRegression.h"#include "SdA.h"using namespace std;// To generate a value between min and max原创 2013-08-04 20:59:37 · 1361 阅读 · 0 评论 -
【转载】深度学习概述:从感知机到深度网络
深度学习概述:从感知机到深度网络2014年05月10日⁄ 字号 小 中 大 文章目录机器学习基础感知机前馈神经网络自编码器受限波尔兹曼机深度网络卷积网络实现结论附录:相关资源(注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择、理论的介绍都很到位,由浅入深, 源文地址 )近些年来,人工智能领域又活跃起来,除了传统了转载 2014-05-10 19:24:46 · 1246 阅读 · 0 评论 -
【转载】Deep Learning in NLP (一)词向量和语言模型
虽说现在的精力不在DL上面,不过看到相关的资料还是忍不住收藏。原文地址:http://licstar.net/archives/328转载 2014-05-30 23:52:54 · 1397 阅读 · 0 评论 -
【Deep Learning】genCNN: A Convolutional Architecture for Word Sequence Prediction
作者:Mingxuan Wang,李航,刘群 单位:华为、中科院 时间:2015 发表于:acl 2015 文章下载:http://pan.baidu.com/s/1bnBBVuJ主要内容: 用deep learning设计了一种语言模型,能够根据之前“所有”的历史来预测当前词的条件概率。用语言模型迷惑度衡量、用机器翻译衡量,该模型都比baseline(5-gram、RNN、等)好具体内容原创 2015-06-29 20:40:42 · 7529 阅读 · 0 评论 -
【转载】语义分析的一些方法
貌似是腾讯广点通部门的人写的,挺不错的。原文地址:http://dataunion.org/10748.htmlhttp://dataunion.org/10760.htmlhttp://dataunion.org/10781.html语义分析,本文指运用各种机器学习方法,挖掘与学习文本、图片等的深层次概念。wikipedia上的解释:In machine转载 2015-06-01 00:17:17 · 8721 阅读 · 0 评论 -
【转载】Softmax Regression
原文地址:http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html在前面的logistic regression博文Deep learning:四(logistic regression练习) 中,我们知道logistic regression很适合做一些非线性方面的分类问题,不过它只适合处理二分类转载 2015-05-31 18:46:28 · 812 阅读 · 0 评论 -
【deep learning学习笔记】Distributed Representations of Sentences and Documents
很久以前关注过一段时间word2vec,最近比较好奇doc2vec,找来资料看看。时间:2014作者:Mikolov (word2vec的作者)发表于:icml原文件:http://pan.baidu.com/s/1bnm7COB主要内容:继写出word2vec之后,接下来的问题是:能否在更大的语言单位上,如:短语、句子、段落、篇章,上面继续word2v原创 2015-05-31 18:01:42 · 2053 阅读 · 0 评论 -
【转载】技术向:一文读懂卷积神经网络
原文地址:http://toutiao.com/a4033463198/?tt_from=sina&app=news_article&iid=2585754491&utm_medium=toutiao_android&utm_campain=client_share&utm_source=sinaweibo自今年七月份以来,一直在实验室负责卷积神经网络(Convolutiona转载 2015-05-10 16:42:10 · 3555 阅读 · 0 评论 -
【资源】Deep learning 资源汇总......
在网上总能发现一些感兴趣的东西,从前是直接转载过来,现在发现太多了,还是汇总url吧。积累,慢慢开始......1. 斯坦福Richard Socher在EMNLP2014发表新作:GloVe: Global Vectors for Word Representation 粗看是融合LSA等算法的想法,利用global word co-occurrence信息提升word vector原创 2014-08-07 18:52:27 · 1965 阅读 · 0 评论 -
【deep learning学习笔记】Recommending music on Spotify with deep learning
主要内容:Spotify是个类似酷我音乐的音乐网站,做个性化音乐推荐和音乐消费。作者利用deep learning结合协同过滤来做音乐推荐。具体内容:1. 协同过滤基本原理:某两个用户听的歌曲都差不多,说明这两个用户听歌的兴趣、品味类似;某两个歌曲,被同一群人听,说明这两个歌曲风格类似。缺点:(1)没有利用歌曲本身的特征(信息)(2)无法对“层级原创 2014-08-10 22:14:46 · 2250 阅读 · 0 评论 -
【deep learning】利用卷积神经网络做音乐推荐 Recommending music on Spotify with deep learning
原文地址:http://benanne.github.io/2014/08/05/spotify-cnns.html转载 2014-08-06 13:19:07 · 4243 阅读 · 0 评论 -
【deep learning学习笔记】New Directions in Vector Space Models of Meaningful_Edward_acl2014Tutorial
时间:2014作者:Edward,牛津的发表于:acl tutorial原文件:http://pan.baidu.com/s/1c0GiUHU概要:总结NLP中的向量表示(vsm),将新近的deep learning纳入到这个表示体系(思路)当中。概要性的ppt。当前难点在于如何从词的表示扩展到短语、语句的表示,对现阶段工作有比较好的总结。1. 分布式表示方原创 2014-08-03 22:27:34 · 1475 阅读 · 0 评论 -
【转载】Deep Learning, NLP, and Representations
微博上看到的,原文地址:转载 2014-07-08 20:19:29 · 1801 阅读 · 0 评论 -
【deep learning学习笔记】Restricted Boltzmann Machines for Collaborative Filtering
标题:Restricted Boltzmann Machines for Collaborative Filtering作者:Ruslan Salakhutdinov,Andriy Mnih,Geo reyHinton单位:University of Toronto发表于:ICML 2007主要内容:这篇文章尝试把RBM应用到协同过滤中,在netflix上的数据集做原创 2013-08-11 19:42:41 · 5697 阅读 · 2 评论 -
【deep learning学习笔记】Greedy Layer-Wise Training of Deep Networks
标题:Greedy Layer-Wise Training of Deep Networks作者:Yoshua Bengio发表于:NIPS’2006主要内容:很经典的文章了。在Hinton提出 stack RBM 组成的DBN之后,Bengio这篇文章一方面验证DBN模型,另一方面讨论可能的扩展。对于shallow architecture模型,如SVM,原创 2013-08-11 22:29:47 · 9572 阅读 · 1 评论 -
【Deep Learning学习笔记】Modeling Documents with a Deep Boltzmann Machine_Hinton_uai2013
题目:Modeling Documents with a Deep Boltzmann Machine作者:HInton发表于:UAI 2013主要内容:这篇文章写用神经网络来对文本(文章)进行建模的。在Replicated Softmax model的基础上,增加了一个隐含层,但是并不增加参数,用来提升模型性能。与标准RSM和LDA模型相比较,作者这个模型性能更好。原创 2013-09-08 16:44:11 · 5775 阅读 · 1 评论 -
【deep learning学习笔记】最近读的几个ppt(三)
《Tutorial on Deep Belief Nets_Hinton_2007_NIPS》2007年在NIPS的一个报告,70页ppt,那时候deep learning刚起步,作者解释了很多“为什么这么做”或者“为什么这么做了效果好”。1. 首先讲了“统计学”和“人工智能”的区别统计学:在低维度数据集合上,用简单模型来表示数据中的结构,其主要困难是去除噪声对真正模型(分布)的影响原创 2013-06-16 15:15:15 · 1796 阅读 · 0 评论 -
【deep learning学习笔记】注释yusugomori的DA代码 --- dA.cpp -- 模型测试
测试代码。能看到,训练的时候是单个样本、单个样本的训练的,在NN中是属于“stochastic gradient descent”,否则,一批样本在一起的,就是“standard gradient descent”。void test_dA() { srand(0); double learning_rate = 0.1; double corruption_level = 0.原创 2013-07-21 15:30:50 · 1470 阅读 · 1 评论 -
【deep learning学习笔记】注释yusugomori的SDA代码 -- Sda.cpp -- 模型训练与预测
模型的核心部分。代码并不多,基本思路就是层层训练,前一层的输出作为下一层的输入。hidde layer和dA共享的是相同的网络结构。有些需要注意的地方已经在代码中加入注释了。另外,还发现了原来代码实现中的一个bug,已经更正。代码如下:void SdA::pretrain ( int *input, double lr, double corruption_level原创 2013-08-04 21:04:47 · 1817 阅读 · 2 评论 -
【Deep Learning学习笔记】NEURAL NETWORK BASED LANGUAGE MODELS FOR HIGHLY INFLECTIVE LANGUAGES_google2009
题目:NEURAL NETWORK BASED LANGUAGE MODELS FOR HIGHLY INFLECTIVE LANGUAGES作者:Mikolov发表于:ICASSP 2009主要内容:用神经网络训练Ngram模型概率,并融合到ngram n-best后处理任务中,取得语音识别准确率提升。看这篇文章的动机是因为上一篇文章“Efficient Estimati原创 2013-08-18 21:39:28 · 2216 阅读 · 0 评论 -
Deep Learning in NLP (一)词向量和语言模型
Deep Learning in NLP (一)词向量和语言模型Posted on 2013 年 7 月 29 日by licstar 这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果,但是在 NL转载 2013-07-29 20:15:33 · 4737 阅读 · 0 评论 -
Deep Learning and Shallow Learning
原文地址:http://freemind.pluskid.org/machine-learning/deep-learning-and-shallow-learning/由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning转载 2013-08-27 14:08:34 · 1689 阅读 · 0 评论 -
【deep learning学习笔记】最近读的几个ppt(二)
《Machine Learning and AI via Brain simulations_Andrew Ng_2013》Andrew Ng今年三月份在清华做的一篇报告,ppt,109页。1. 从图像识别,讲特征表示,如:月hi辆摩托车的图像,在电脑中表示为像素矩阵,不过在人脑中,由轮子、把手等各个组件组成。2. 进一步讲特征表示,如:NLP中,一句话,可以句法分析为一个树状表示,树原创 2013-06-13 00:45:41 · 2704 阅读 · 1 评论 -
【deep learning学习笔记】注释yusugomori的LR代码 --- 模型测试
测试部分代码:void test_lr() { srand(0); double learning_rate = 0.1; double n_epochs = 500; int train_N = 6; int test_N = 2; int n_in = 6; int n_out = 2; // int **train_X; // int **t原创 2013-07-16 16:21:51 · 1373 阅读 · 0 评论 -
【deep learning学习笔记】注释yusugomori的SDA代码 -- 准备工作
1. SDA基本原理其实是承接前面几篇博文,继续注释yusugomori的deep learning代码,注释到SDA了,顺便说一下基本原理。SDA是stack denosing autoencoders的缩写。比起标准的DA(denosing autoencoders),主要区别在于:1. 多了一些隐含层——stack的含义;2. 最上一层是LR(logestic regresssi原创 2013-08-04 20:50:25 · 1700 阅读 · 0 评论 -
【deep learning学习笔记】注释yusugomori的SDA代码 -- Sda.cpp -- 模型测试
测试代码如下:void test_sda() { srand(0); double pretrain_lr = 0.1; double corruption_level = 0.3; int pretraining_epochs = 1000; double finetune_lr = 0.1; int finetune_epochs = 500;原创 2013-08-04 21:12:41 · 1489 阅读 · 0 评论 -
Introduction to Deep Learning Algorithms
原文地址:http://www.iro.umontreal.ca/~pift6266/H10/notes/deepintro.htmlSee the following article for a recent survey of deep learning:Yoshua Bengio, Learning Deep Architectures for AI, Foundat转载 2013-09-08 17:35:52 · 1514 阅读 · 0 评论 -
Sigmoid/Logistic function and softmax without overflow
在看一些资料,常提到sigmoid函数和softmax函数,两者区别?应用场景?转载的这篇文章可供参考。原文地址:http://www.appliedcuriosity.eu/blog/post/22/sigmoidlogistic-function-and-softmax-without-overflowFriday, May 10, 2013 15:16转载 2013-08-15 00:19:38 · 4875 阅读 · 0 评论 -
【Deep Learning学习笔记】Deep learning for nlp without magic_Bengio_ppt_acl2012
看完180多页的ppt,真心不容易。记得流水账如下:Five reason to explore Deep Learning:1. learning representation; 2. the need for distribution representation -- curse dimensionality; 3. unsurperwised feature and原创 2013-10-06 01:17:36 · 2953 阅读 · 0 评论 -
【NLP基础】机器学习前沿热点–Deep Learning
原文地址:http://elevencitys.com/?p=1854深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以转载 2013-04-10 20:52:07 · 1746 阅读 · 0 评论