pytorch
算法学习者
计算机各种知识学习笔记
展开
-
python内置函数5-getattr()
Help on built-in function getattr in module __builtin__:getattr(...)getattr(object, name[, default]) -> valueGet a named attribute from an object; getattr(x, 'y') is equivalent to x.y.转载 2017-03-05 19:57:10 · 6539 阅读 · 0 评论 -
CUDA语义
torch.cuda会记录当前选择的GPU,并且分配的所有CUDA张量将在上面创建。可以使用torch.cuda.device上下文管理器更改所选设备。但是,一旦张量被分配,您可以直接对其进行操作,而不考虑所选择的设备,结果将始终放在与张量相同的设备上。默认情况下,不支持跨GPU操作,唯一的例外是copy_()。 除非启用对等存储器访问,否则对分布不同设备上的张量任何启动操作的转载 2017-04-12 16:56:41 · 10771 阅读 · 0 评论 -
扩展PyTorch
本篇文章中包含如何扩展 torch.nn, torch.autograd和 使用我们的 C 库编写自定义的C扩展。扩展 torch.autograd如果你想要添加一个新的 Operation 到autograd的话,你的Operation需要继承class Function。autograd使用Function计算结果和梯度,同时编码 operation的历史。每个新的转载 2017-04-12 17:00:51 · 7164 阅读 · 0 评论 -
多进程最佳实践
torch.multiprocessing是Pythonmultiprocessing的替代品。它支持完全相同的操作,但扩展了它以便通过multiprocessing.Queue发送的所有张量将其数据移动到共享内存中,并且只会向其他进程发送一个句柄。Note当Variable发送到另一个进程时,Variable.data和Variable.grad.data都将被共享。这允转载 2017-04-12 17:09:57 · 7209 阅读 · 0 评论 -
资源 | 注意迁移的PyTorch实现
选自Github作者:szagoruyko机器之心编译参与:赵华龙、吴攀本项目是论文《要更加注重注意力:通过注意迁移技术提升卷积神经网络的性能(Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention T转载 2017-04-12 17:34:17 · 9382 阅读 · 0 评论 -
序列化语义
最佳实践保存模型的推荐方法这主要有两种方法序列化和恢复模型。第一种(推荐)只保存和加载模型参数:torch.save(the_model.state_dict(), PATH)然后:the_model = TheModelClass(*args, **kwargs)the_model.load_state_dict(torch.load(PATH))转载 2017-04-12 20:02:42 · 6869 阅读 · 0 评论 -
torchvision.transforms
torchvision.transformsclasstorchvision.transforms.Compose(transforms)Composes several transforms together.Parameters:transforms (List[Transform]) – list of transforms to compos转载 2017-04-06 00:42:48 · 7281 阅读 · 0 评论 -
pytorch学习笔记(八):PytTorch可视化工具 visdom
Visdom PyTorch可视化工具本文翻译的时候把 略去了 Torch部分。项目地址一个灵活的可视化工具,可用来对于 实时,富数据的 创建,组织和共享。支持Torch和Numpy。总览基本概念Setup启动可视化接口总结总览Visdom目的是促进远程数据的可视化,重点是支持科学实验。。向您和您的合作者发送可视化 图像,图片转载 2017-04-06 16:49:02 · 18524 阅读 · 2 评论 -
PyTorch在64位Windows下的Conda包
昨天发了一篇PyTorch在64位Windows下的编译过程的文章,有朋友觉得能不能发个包,这样就不用折腾了。于是,这个包就诞生了。先别急着激动。如果要直接使用的话,你需要满足以下条件:Anaconda3 (with Python 3.6)Windows 10 64位系统(其他未测试)CUDA 8.0.61cuDNN 5.1.10及以上Compute Capability 6.1及转载 2017-05-25 19:48:22 · 5390 阅读 · 1 评论 -
pytorch-tutorial
https://github.com/yunjey/pytorch-tutorialThis repository provides tutorial code for deep learning researchers to learn PyTorch. In the tutorial, most of the models were implemented with less转载 2017-05-25 19:53:38 · 2948 阅读 · 0 评论 -
pytorch rl code
Asynchronous Advantage Actor Critic (A3C) from "Asynchronous Methods for Deep Reinforcement Learning"https://github.com/ikostrikov/pytorch-a3cPyTorch's version of Doom-net implementing s原创 2017-04-26 00:13:37 · 7393 阅读 · 0 评论 -
reinforce
I am studying RL with reinforcement/reinforce.py in pytorch/examples. I have some questions about it.What does action.reinforce(r)22 internally do ?Below is REINFORCE update rule where v_t转载 2017-04-26 00:15:47 · 7375 阅读 · 0 评论 -
PyTorch binding for WarpCTC
PyTorch binding for WarpCTCInstallationInstall PyTorch.WARP_CTC_PATH should be set to the location of a built WarpCTC (i.e. libwarpctc.so). This defaults to ../build, so from within a ne转载 2017-06-18 23:00:10 · 6216 阅读 · 5 评论 -
pytorch_fft
https://github.com/locuslab/pytorch_fftA PyTorch wrapper for CUDA FFTs A package that provides a PyTorch C extension for performing batches of 2D CuFFT transformations, by Eric Wong转载 2017-06-11 22:18:29 · 4850 阅读 · 0 评论 -
pytorch 没有梯度
pytorch 更新梯度,某处一直没有梯度,没有正确调用,存在冗余的参数原创 2017-06-14 00:11:27 · 2181 阅读 · 0 评论 -
linux pytorch 安装
最新人工智能论文:http://paperreading.clubhttp://pytorch.org/condacuda7.5 conda install pytorch torchvision -c soumithcuda8.0 conda install pytorch torchvision cuda80 -c soumithpipcuda7....原创 2017-04-06 17:01:58 · 31417 阅读 · 4 评论 -
自动求导机制
本说明将概述Autograd如何工作并记录操作。了解这些并不是绝对必要的,但我们建议您熟悉它,因为它将帮助您编写更高效,更简洁的程序,并可帮助您进行调试。从后向中排除子图每个变量都有两个标志:requires_grad和volatile。它们都允许从梯度计算中精细地排除子图,并可以提高效率。requires_grad如果有一个单一的输入操作需要梯度,它的输出也需要梯转载 2017-04-12 16:52:58 · 8141 阅读 · 0 评论 -
PyTorch参数初始化和Finetune
前言这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结,也是我在写代码中用的算是“最佳实践”吧。最后希望大家没事多逛逛论坛,有很多高质量的回答。参数初始化参数的初始化其实就是对参数赋值。而我们需要学习的参数其实都是Variable,它其实是对Tensor的封装,同时提供了data,grad等借口,这就意味着我们可以直接对这些参数进行操作赋值了转载 2017-04-12 16:52:09 · 9484 阅读 · 0 评论 -
PyTorch预训练
前言最近使用PyTorch感觉妙不可言,有种当初使用Keras的快感,而且速度还不慢。各种设计直接简洁,方便研究,比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练,主要是自己写代码的经验以及论坛PyTorch Forums上的一些回答的总结整理。直接加载预训练模型如果我们使用的模型和原模型完全一样,那么我们可以直接加载别人训练好的模型:转载 2017-04-12 16:49:59 · 18123 阅读 · 5 评论 -
pytorch 如何加载部分预训练模型
pretrained_dict = ...model_dict = model.state_dict()# 1. filter out unnecessary keyspretrained_dict = {k: v for k, vin pretrained_dict.items() if k inmodel_dict}# 2.原创 2017-03-19 14:55:38 · 24517 阅读 · 0 评论 -
OSError: [Errno 2] No such file or directory
问题: File "/usr/lib/python2.7/subprocess.py", line 1249, in _execute_child raise child_exceptionOSError: [Errno 2] No such file or directory 跟JDK的PATH有关,在终端输入:Java -version如果出现以转载 2017-04-06 22:22:52 · 15810 阅读 · 0 评论 -
PyTorch - 打印梯度
x = Variable(torch.randn(5, 5), requires_grad=True)y = Variable(torch.randn(5, 5), requires_grad=True)z = x + y# this will work only in Python3z.register_hook(lambda g: print(g)) # if you're转载 2017-03-22 13:43:39 · 14814 阅读 · 0 评论 -
PyTorch 参数初始化
import torch.nn.init as initself.conv1 = nn.Conv2d(3, 20, 5, stride=1, bias=True) init.xavier_uniform(self.conv1.weight, gain=np.sqrt(2.0))init.constant(self.conv1.bias, 0.1)原创 2017-03-24 15:55:07 · 10925 阅读 · 0 评论 -
Python中元组,列表,字典的区别
转自:http://blog.sina.com.cn/s/blog_967e337b0101282f.htmlPython中,有3种内建的数据结构:列表、元组和字典。1.列表 list是处理一组有序项目的数据结构,即你可以在一个列表中存储一个序列的项目。列表中的项目。列表中的项目应该包括在方括号中,这样python就知道你是在指明一个列表。一旦你创建了一个列表,转载 2017-04-01 11:54:29 · 6589 阅读 · 0 评论 -
pytorch学习笔记(二):gradient
gradient在BP的时候,pytorch是将Variable的梯度放在Variable对象中的,我们随时都可以使用Variable.grad得到对应Variable的grad。刚创建Variable的时候,它的grad属性是初始化为0.0的。import torchfrom torch.autograd import Variablew1 = Variable(torch.Te转载 2017-03-16 14:50:49 · 8525 阅读 · 0 评论 -
pytorch 学习笔记(一)
pytorch 学习笔记(一)pytorch是一个动态的建图的工具。不像Tensorflow那样,先建图,然后通过feed和run重复执行建好的图。相对来说,pytorch具有更好的灵活性。编写一个深度网络需要关注的地方是: 1. 如何保存参数 2. 如何构建网络 3. 如何计算梯度和更新参数如何保存参数pytorch中有两种变量类型,一个是Tensor转载 2017-03-16 14:52:36 · 8263 阅读 · 0 评论 -
pytorch自动微分的几个例子
昨天微信‘机器之心’发布了开源软件pytorch出场的重磅消息。看内容感觉动态计算图的思路比较新颖。在初步体验其自动微分操作之后,发觉这个算法包确实是将计算图的符号占位变量和实体变量的绑定操作合二为一了。这就比其它的算法包来得更为简洁明快,学习的曲线陡降了很多。 CentOS 6.8下,建议按官网说明使用anaconda环境。关于cuda的安装和使用,按官网说明操作也很方便。官网转载 2017-03-16 15:07:52 · 10219 阅读 · 0 评论 -
pytorch-generative-adversarial-networks
#!/usr/bin/env python# Generative Adversarial Networks (GAN) example in PyTorch.# See related blog post at https://medium.com/@devnag/generative-adversarial-networks-gans-i转载 2017-03-16 15:10:42 · 7306 阅读 · 0 评论 -
PyTorch 设置使用GPU
最新人工智能论文:http://paperreading.clubCUDA_VISIBLE_DEVICES=1 python train.py原创 2017-04-01 17:52:16 · 29485 阅读 · 0 评论 -
pytorch crayon tensorboard
github地址Crayon Crayon is a framework that gives you access to the visualisation power of TensorBoard with any language. Currently it provides a Python and a Lua interface, however you c原创 2017-04-02 14:12:41 · 8974 阅读 · 0 评论 -
PyTorch - Autograd mechanics
How autograd encodes the historyEach Variable has a .creator attribute, that points to the function, of which it is an output. This is an entry point to a directed acyclic graph (DAG) consisting o转载 2017-03-16 16:54:34 · 6272 阅读 · 0 评论 -
PyTorch - Automatic differentiation package - torch.autograd
torch.autograd provides classes and functions implementing automatic differentiation of arbitrary scalar valued functions. It requires minimal changes to the existing code - you only need to wrap all转载 2017-03-16 16:53:28 · 8373 阅读 · 0 评论 -
pytorch可视化
pytorch可以利用tensorboard进行可视化步骤1. 安装dockersudo apt-get install docker-engine参考链接http://blog.csdn.net/amds123/article/details/689518862. 安装crayon从docker安装crayondocker pull alband/crayon原创 2017-04-03 00:05:51 · 11083 阅读 · 1 评论 -
PyTorch中文文档
最新人工智能论文:http://paperreading.clubgithub项目地址:awfssv/pytorch-cn文档网址:PyTorch中文文档原创 2017-04-12 16:34:58 · 21823 阅读 · 1 评论 -
PyTorch参数初始化方法
torch.nn.inittorch.nn.init.calculate_gain(nonlinearity, param=None)[source]Return the recommended gain value for the given nonlinearity function. The values are as follows:nonlin转载 2017-10-26 20:32:53 · 4007 阅读 · 0 评论