风翼冰舟的博客

DL和ML学习者

【theano-windows】学习笔记二十——LSTM理论及实现

前言 上一篇学习了RNN,也知道了在沿着时间线对上下文权重求梯度的时候,可能会导致梯度消失或者梯度爆炸,然后我们就得学习一波比较常见的优化方法之LSTM 国际惯例,参考网址: LSTM Networks for Sentiment Analysis Understanding LSTM N...

2018-07-06 18:08:41

阅读数 1576

评论数 0

【theano-windows】学习笔记十九——循环神经网络

前言 前面已经介绍了RBM和CNN了,就剩最后一个RNN了,抽了一天时间简单看了一下原理,但是没细推RNN的参数更新算法BPTT,全名是Backpropagation Through Time。 【注】严谨来说RNN有两个称呼:①结构上递归的recursive neural network,通...

2018-07-05 18:07:16

阅读数 1562

评论数 0

【theano-windows】学习笔记十八——混合蒙特卡洛采样

前言 继续之前的Theano学习,本次主要学习混合蒙特卡洛(Hybrid Monte-Carlo Sampling)采样算法。 国际惯例,参考网址 Hybrid Monte-Carlo Sampling Hybrid Monte Carlo 理论 能量模型所使用的极大似然学习需要...

2018-06-05 17:04:29

阅读数 2351

评论数 2

【theano-windows】学习笔记十七——梯度中的consider_constant

前言主要是在写玻尔兹曼机相关的theano时, 在计算梯度grad的时候发现一个参数名字叫做consider_constant,来看看这个到底做了什么事情参考博客:using consider_constant selectively【theano-windows】学习笔记三——theano中的导...

2017-11-28 11:08:57

阅读数 1604

评论数 0

【theano-windows】学习笔记十六——深度信念网络DBN

前言前面学习了受限玻尔兹曼机(RBM)的理论和搭建方法, 如果稍微了解过的人, 肯定知道利用RBM可以堆叠构成深度信念网络(deep belief network, DBN)和深度玻尔兹曼机(deep Boltzmann machine), 这里就先学习一下DBN.国际惯例, 参考博文:Deep ...

2017-11-27 23:26:34

阅读数 3139

评论数 17

【theano-windows】学习笔记十五——受限玻尔兹曼机

前言 终于到了最喜欢的模型: 受限玻尔兹曼机(RBM)了, 发现关于RBM是如何从能量模型发展过来的介绍非常不错, 而关于详细理论证明, 可以去看我前面的受限玻尔兹曼机的一系列博客. 国际惯例, 参考博客,超级强推第二个博客, 证明过程很给力: Restricted Boltzmann M...

2017-11-07 17:40:52

阅读数 1831

评论数 0

【theano-windows】学习笔记十四——堆叠去噪自编码器

前言前面已经学习了softmax,多层感知器,CNN,AE,dAE,接下来可以仿照多层感知器的方法去堆叠自编码器国际惯例,参考文献:Stacked Denoising Autoencoders (SdA)Greedy Layer-Wise Training of Deep Networks理论通过...

2017-11-05 00:21:56

阅读数 2466

评论数 0

梯度优化算法Adam

前言最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation) 国际惯例, 参考博文:一文看懂...

2017-10-30 14:23:55

阅读数 8494

评论数 3

【theano-windows】学习笔记十三——去噪自编码器

前言上一章节学习了卷积的写法,主要注意的是其实现在theano.tensor.nnet和theano.sandbox.cuda.dnn中都有对应函数实现, 这一节就进入到无监督或者称为半监督的网络构建中. 首先是自编码器(Autoencoders)和降噪自编码器(denoising Autoenc...

2017-10-22 01:24:26

阅读数 6199

评论数 2

【theano-windows】学习笔记十二——卷积神经网络

前言按照进度, 学习theano中的卷积操作国际惯例, 来一波参考网址Convolutional Neural Networks (LeNet)卷积神经网络如何应用在彩色图像上?卷积小知识三大特性:局部感知(稀疏连接), 权值共享, 池化上图很重要, 描述的是前一个隐层m-1具有四个特征图, 第m...

2017-10-18 10:53:13

阅读数 1779

评论数 2

【theano-windows】学习笔记十一——theano中与神经网络相关函数

前言经过softmax和MLP的学习, 我们发现thenao.tensor中除了之前的博客【theano-windows】学习笔记五——theano中张量部分函数提到的张量的定义和基本运算外, 还有一个方法称为nnet, 如果自己实现过前面两篇博客中的代码就会发现用到了theano.tensor....

2017-09-19 16:59:14

阅读数 1649

评论数 0

【theano-windows】学习笔记十——多层感知机手写数字分类

前言上一篇学习了softmax, 然后更进一步就是学习一下基本的多层感知机(MLP)了. 其实多层感知机同时就是w*x+b用某个激活函数激活一下, 得到的结果作为下一层神经元的输入x, 类似于 output=⋯f3(f2(f1(x∗w1+b2)∗w2+b2)∗w3+b3)⋯ output=\cd...

2017-09-13 18:12:03

阅读数 648

评论数 0

【theano-windows】学习笔记九——softmax手写数字分类

前言上一篇博客折腾了数据集的预备知识, 接下来按照官方的Deep learning 0.1 documentation一步步走, 先折腾softmax, 关于softmax和logistic回归分类的联系, 我在之前写过一个小博客国际惯例, 参考博客走一波:Classifying MNIST di...

2017-09-12 16:07:22

阅读数 712

评论数 0

【theano-windows】学习笔记八——预备知识

前言按照上一个博客所说的,直接按照深度学习0.1文档进行学习,当然在此之前我们需要了解这一系列教程所需要的数据集,以及一些概念性的东西国际惯例,参考博客网址:深度学习0.1文档深度学习0.1文档-中文翻译基于梯度的学习数据集网址网盘下载链接: https://pan.baidu.com/s/1bp...

2017-09-08 16:32:06

阅读数 502

评论数 0

【theano-windows】学习笔记七——logistic回归

前言前面只是学了最基本的theano操作,但是theano中还有很多其他的东西,比如图结构,自定义函数等,这些暂时没有用到就先不看了,后续学啥用啥,没必要一口气吃个胖子,免得消化不良还把前面吃的东西忘记了,先拿logistic回归试试水基本理论推导可以看我前面你的博客softmax理论及代码解读—...

2017-09-08 11:13:02

阅读数 348

评论数 0

【theano-windows】学习笔记六——theano中的循环函数scan

前言Scan是Theano中最基础的循环函数, 官方教程主要是通过大量的例子来说明用法. 不过在学习的时候我比较习惯先看看用途, 然后是参数说明, 最后再是研究实例.国际惯例, 参考网址官网关于Scan的11个例子官网更全面的介绍简介用途 递归的一般形式, 可以被用于循环 scan有两个特殊的案...

2017-09-05 16:15:21

阅读数 746

评论数 0

【theano-windows】学习笔记五——theano中张量部分函数

前言至此感觉应该可以写出一个logistic回归程序了,但是为了达到对theano中张量的更灵活的使用, 还是先看一下thenao.tensor对变量都提供了哪些操作,最全的文档戳这里或者这里, 这里就稍微摘取一点自我感觉以后可能用得多的函数基本张量函数创建张量以下三条语句都是创建一个张量实例, ...

2017-09-01 16:55:17

阅读数 4120

评论数 0

【theano-windows】学习笔记四——theano中的条件语句

前言按照官网教程,学习条件语句Switch和ifelse的使用参考地址: conditions性能对比ifElse是将布尔变量和两个变量当做输入Switch是将张量和两个变量当做输入. 因为Switch是元素级操作,所以比ifElse更具一般性Switch需要对所有输出变量进行评估,ifElse只...

2017-09-01 14:12:44

阅读数 433

评论数 0

【theano-windows】学习笔记三——theano中的导数

前言就一个NN而言,包含梯度、偏置、参数更新,而前面第一篇博客学习了theano中符号变量的定义, 第二篇博客学习了变量的随机初始化, 变量之间的互相操作(类似于sigmoid(w∗x+b)sigmoid(w*x+b)), 但是参数更新涉及到损失函数的偏导计算,这一章节就是看看theano的梯度计...

2017-09-01 11:00:38

阅读数 940

评论数 0

【theano-windows】学习笔记二——theano中的函数和共享参数

前言上一篇博客中学到了theano中的变量类型,也就是dscalar、dvector之类的, 然后还有一个theano.function和eval函数, 将我们所定义的操作转换成theano可执行的函数,类似于def, 还有就是简单的线性代数运算操作。在神经网络(NN)中, 我们声明了权重、偏置,...

2017-08-31 16:10:11

阅读数 560

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭