torch入门笔记21:xavier初始化方法

今天的task主要是为了使得分类中要达到更好的优化效果,这里需要对model内部参数的初始化做一下特殊的处理。 还记得torch会帮我们随机初始化参数吗?我们现在不使用torch的初始化参数,而使用一种更高级的初始化方法,称之为xavier方法。概括来讲,就是根据每层的输入个数和输出个数来决定参...

2016-12-29 16:50:52

阅读数:1733

评论数:0

lua加载函数require和dofile

reference: https://www.cnblogs.com/yyxt/p/3870236.html Lua提供高级的require函数来加载运行库。粗略的说require和dofile完成同样的功能但有两点不同: 1. require会搜索目录加载文件; 2. require会判断...

2016-12-28 14:28:17

阅读数:771

评论数:0

torch入门笔记20:torch实现freeze layer的操作

这两天一直在尝试着在torch的框架内实现freeze layer,通过search google,从极少的文档中找到比较work的方法,故而总结在这。 You can set the learning rate of certain layers to zero...

2016-11-04 18:40:06

阅读数:1036

评论数:0

torch入门笔记19:关于一些torch博客的索引

1.Torch 中的引用、深拷贝 以及 getParameters 获取参数的探讨 http://blog.csdn.net/u010167269/article/details/52073136 2.Triplet Loss、Coupled Cluster Loss 探究 http...

2016-11-04 18:34:14

阅读数:507

评论数:0

torch入门笔记18: Torch 中的引用、深拷贝 以及 getParameters 获取参数的探讨

Preface 这段时间一直在苦练 Torch,我是把 Torch 当作深度学习里面的 Matlab 来用了。但最近碰到个两个坑,把我坑的蛮惨。 一个是关于 Torch 中赋值引用、深拷贝的问题,另一个是关于 getParameters() 获取参数引发的问题。 所以这部分就不放在之前的博文...

2016-11-02 18:28:50

阅读数:936

评论数:0

使用GraphViz画caffe/torch的网络结构图

caffe的Python接口中有一个很不错的功能:画网络结构图,虽然画得并不好看,但可以给人一种直观的感受。 一、准备   首先caffe的python接口当然是必备的了,还没有生成python接口的同学可以参照我的上一篇博客来生成。    然后是需要安装protobuf的python接口,...

2016-10-19 15:14:16

阅读数:2434

评论数:0

torch入门笔记17:使用随机梯度下降训练神经网络StochasticGradient

使用随机梯度下降训练神经网络 StochasticGradient是一个比较高层次的类,它接受两个参数,module和criterion,前者是模型结构,后者是损失函数的类型。这个类本身有一些参数: LearningRate: 这是学习率,不用多说 LearningRateDec...

2016-10-12 15:27:24

阅读数:1058

评论数:0

torch入门笔记16:Sequencialization序列化

1.序列化 Torch提供4种高级方法来序列化或者反序列化任意Lua/Torch对象。这些方法都是从File对象抽象出来的,为了方便操作而创建。   前两种方法用来从文件序列化或者反序列化的: torch.save(filename,object [, format]) ...

2016-10-12 15:25:37

阅读数:758

评论数:0

torch入门笔记15:nn package详解

神经网络Package 【目前还属于草稿版,等我整个学习玩以后会重新整理】 模块Module module定义了训练神经网络需要的所有基础方法,并且是可以序列化的抽象类。 module有两种状态变量:output和gradInput   [output] for...

2016-10-12 15:22:36

阅读数:1818

评论数:0

torch入门笔记14:Torch中optim的sgd(Stochastic gradient descent)方法的实现细节

Torch中optim的sgd(Stochastic gradient descent)方法的实现细节 Overview sgd的全称是Stochastic gradient descent,关于Stochastic gradient descent我们不在本文详述。  Stochastic ...

2016-10-09 17:12:30

阅读数:1323

评论数:0

torch入门笔记13:实现cnn图像分类

这一章主要分享预测的基本操作,并且先将前面分享的内容总结下,完整地实现CNN图像分类的实例 require 'paths'; require 'nn'; ---Load TrainSet paths.filep("/home/ubuntu64/cifar10torchsmall.zi...

2016-10-09 15:09:05

阅读数:2987

评论数:2

torch入门笔记12:数据的预处理

这一章用实例讲解在正式训练前需要对训练集的处理以及基本操作,请大家从头开始运行itorch   导入两个包,虽然这章没有涉及网络的建立,但是不导入nn这个包的话,数据的读入会出错,具体我也不太清楚,这个是google出来的,我刚开没有导入nn包,导致文件一直无法读取。    参数为...

2016-10-09 15:06:22

阅读数:1565

评论数:3

torch入门笔记11:如何训练神经网络

这一节先介绍一些基本操作,然后再对我们前面建立的网络进行训练 神经网络的前向传播和反向传播   随即生产一张照片,1通道,32x32像素的。为了直观像是,导入image包,然后用itorch.image()方法显示生成的图片,就是随即的一些点。    用之前建立好的神经网络net调用forw...

2016-10-09 15:00:39

阅读数:2610

评论数:0

torch入门笔记10:如何建立torch神经网络模型

这一章不涉及太多的神经网络的原理,重点是介绍如何使用Torch7 神经网络    首先require(相当于c语言的include)nn包,该包是神经网络的依赖包,记得在语句最后加上“;”,这个跟matlab一样不加的话会打印出来数据。Torch可以让我们自己一层一层的设计自己的网络,像是容器...

2016-10-09 14:58:49

阅读数:3160

评论数:0

torch入门笔记9:function

函数的使用    这是函数的定义方式,声明的关键字+定义的函数名+形参的名字,在此博主返回两个值,具体的函数功能在后面再说    这是初始化一个5x2的矩阵,并且初值都为1。这里有多了一种初始化矩阵的方法。    这是先声明一个2x5的矩阵,然后再调用fill()方法其值全部初始化为4...

2016-10-09 14:56:08

阅读数:543

评论数:0

torch入门笔记8:tensor

http://blog.csdn.net/u010946556/article/details/51329561  转载请注明出处 Torch里非常重要的结构Tensor(张量),类似于Python用的Numpy    声明Tensor的格式如12行,打印a可以得到一个5x3的矩阵,这...

2016-10-09 14:52:26

阅读数:797

评论数:0

torch入门笔记7:Torch的入门使用

http://blog.csdn.net/u010946556/article/details/51329208  转载请注明出处 本博文目标是介绍Torch的入门使用 博主采用iTorch界面编写,以下以图片方式展示代码。  如果记不清哪个方法的名字了可以在iTorch里面点...

2016-10-09 14:47:56

阅读数:613

评论数:0

Deep Learning 工具 Torch7安装与使用

源代码: https://github.com/torch 官方文档: http://torch.ch/ Torch7:https://github.com/torch/torch7/wiki/Cheatsheet 安装过程: 1. node.js instal...

2016-10-09 14:44:43

阅读数:425

评论数:0

Torch/Lua学习资料汇总

reference: http://blog.csdn.net/jiejinquanil/article/details/49820471 在学习Torch/Lua的过程中,积累了一些资料,现汇总如下,自己会随时补充,也欢迎大家补充! 1、Torch Package Reference Man...

2016-10-09 14:31:34

阅读数:551

评论数:0

学习Torch框架的该看的资料汇总

总说 Torch7是一个特别好的框架啊,简洁明了!在学习torch的过程中,总结出一些该看的东西。可以好好看看。 Lua 必看 首先是基础的lua知识,这四部分的教程特别简洁明了,完全不像其他教程的墨迹啊。(⊙o⊙)…  Lua for Programmers Part 1: Langua...

2016-10-09 14:25:04

阅读数:513

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭