深度学习
文章平均质量分 73
蓁蓁尔
A goal is a dream with a deadline.
展开
-
theano tutorial -- 用theano实现逻辑回归LR(一)theano基础知识
下面的内容和theano的计算图 computing graph 概念结合着学习会更容易理解。1.theano定义符号变量:3种:标量(scalar)、向量(vector)和矩阵(matrix)可在前面加’b’,’w’,’i’,’l’,’f’,’d’,’c’分别表示8位,16位,32位,64位的整数,float,double以及负数。比如imatrix就是32位整数类型的矩阵,dvector就是单精原创 2017-01-07 12:27:39 · 378 阅读 · 0 评论 -
深度学习+推荐--近期论文总结
一。推荐任务分三类:评分预测类任务(近几年热度:2), 排序预测类任务(top N 推荐,近几年热度:3) 分类任务(热度:1)。推荐系统算法方面分三类:协同过滤(CF), 基于内容的推荐(CB) 混合推荐。二。目前的推荐算法中用到的8类深度学习模型:MLP(理论上可以拟合各种函数,可以非常容易的model用户和项目间的非线性关系),AE及其变体(非监督,超强的特征学习能力),原创 2017-08-01 21:22:14 · 2768 阅读 · 0 评论 -
网络表示学习相关资料
收藏夹有一点爆炸,所以在这边开一个帖子直接扔这吧,下面的资料常看,温故知新。网络表示学习(network representation learning,NRL),也被称为图嵌入方法(graph embedding method,GEM)是这两年兴起的工作,目前很热,许多直接研究网络表示学习的工作和同时优化网络表示+下游任务的工作正在进行中。1.清华大学计算机系原创 2017-07-08 22:59:33 · 3823 阅读 · 0 评论 -
[入门笔记]神经网络浅讲:从神经元到深度学习
原文:神经网络浅讲:从神经元到深度学习 这篇文章介绍很好,深入浅出、很容易懂但是该有的东西都讲到了,一口气看下来会觉得很爽。因为文章很长所以下面主要是上文中的一些摘抄。1.神经网络的“三起三落” 1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP。 神经元: 影响: 1943年发布的MP模型,简单却建立了神经网络大厦的地基原创 2017-04-16 21:45:35 · 3244 阅读 · 0 评论 -
计算图(computational graph)角度看BP(back propagation)算法
从计算图(computational graph)角度看BP(back propagation)算法,这也是目前各大深度学习框架中用到的,Tensorflow, Theano, CNTK等。参考【1】一、通用形式1. 什么是计算图结构 从下图中我们可以清楚地看到 (1)可以将计算图看作是一种用来描述function的语言,图中的节点node代表function的输入(可以是常数、向量、张量等),原创 2017-04-15 15:18:02 · 14377 阅读 · 3 评论 -
Stanford UFLDL教程(一)--神经网络、BP算法、BP初始值设置和梯度检验
在看斯坦福大学的UFLDL(非监督特征学习和深度学习)教程时,发现了一个博客,在看教程的过程中不懂得问题,大部分在博客中得到了解答。转到自己帖子中方便以后重新查看。01.神经网络 UFLDL:http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C 博客:http://blog.csd原创 2017-03-08 15:20:30 · 984 阅读 · 0 评论 -
交叉熵代价函数+方向导数+梯度(详细作用及公式推导)
交叉熵代价函数(作用及公式推导) http://blog.csdn.net/u014313009/article/details/51043064交叉熵代价函数 http://blog.csdn.net/u012162613/article/details/44239919两篇结合着看。原创 2017-03-04 10:42:12 · 4715 阅读 · 0 评论 -
聊天机器人相关中文资料
聊天机器人三代:第一代可以理解为:大量的if then else then,典型的特征工程。第二代可以理解为:对话检索,给定一个问题或者聊天,检索库中已有的答案与之最匹配。比如:小黄鸡。第三代可以理解为:生成对话,流行的做法是seq2seq+attention,是一种神经网络模型。经过大量数据的训练,根据输入生成输出。比如:google的这篇paper A Neural Convers原创 2017-02-20 11:22:06 · 845 阅读 · 0 评论 -
tensorflow
已看完: TensorFlow极速入门 http://weibo.com/ttarticle/p/show?id=2309351000224074036907921465 机器学习的敲门砖:手把手教你TensorFlow初级入门 https://yq.aliyun.com/articles/64410 『深度长文』Tensorflow代码解析(一) https://mp.weixin.qq原创 2017-02-27 19:34:35 · 618 阅读 · 0 评论 -
theano tutorial -- 用theano实现逻辑回归LR(三)theano实现LR算法
>>> import numpy>>> import theano>>> import theano.tensor as T>>> rng = numpy.random>>> N = 400 # 训练数据的数量 400个样本>>> feats = 784 # 特征数原创 2017-01-07 13:46:07 · 412 阅读 · 0 评论 -
theano tutorial -- 用theano实现逻辑回归LR(二)计算图结构
见:http://deeplearning.net/software/theano/extending/graphstructures.html中文版:http://geek.csdn.net/news/detail/131362(1)图的结构Theano用图来表示符号数学运算。这些图的点包括:Apply、变量、operation和有向边。Apply代表了op对某些变量的计算【op类比成函数的定义,原创 2017-01-07 12:49:01 · 443 阅读 · 0 评论 -
word2vec
没太有什么公式,从实践角度来看的,主要是skip gram 模型。 一。 1. 首先搞明白为什么要用低维实值向量表示word,而不使用one-hot来表示。 “one-hot”:将 word 转化为含有一个1,其他都是0的稀疏向量,向量的维度等于词表大小,只有对应位置上的数字为1,其他都为0。 (1)one-hot太稀疏,维度太高之后不易处理; (2)最主要的是 one-hot 捕捉不到任原创 2017-07-02 16:37:19 · 5860 阅读 · 2 评论