Pytorch
摇摆的果冻
这个作者很懒,什么都没留下…
展开
-
pytorch CrossEntropyLoss
多分类用的交叉熵损失函数,用这个 loss 前面不需要加 Softmax 层。这里损害函数的计算,按理说应该也是原始交叉熵公式的形式,但是这里限制了 target 类型为 torch.LongTensr,而且不是多标签意味着标签是 one-hot 编码的形式,即只有一个位置是 1,其他位置都是 0,那么带入交叉熵公式中化简后就成了下面的简化形式。loss(x,label)=−wlabellogex...转载 2018-03-16 22:19:10 · 1880 阅读 · 0 评论 -
Pytorch BUG 持续填坑
BUG1在做多分类的时候,计算LOSS 报错:cuda runtime error (59) : device-side assert triggered at /opt/conda/conda-bld/pytorch_1513368888240/work/torch/lib/THC/generated/../THCReduceAll.cuh:33这是因为 在计算loss的时候 data labe...原创 2018-04-19 15:39:07 · 5760 阅读 · 9 评论 -
Pytorch 保存和加载模型 part2
搭建网络:torch.manual_seed(1) # reproducible# 假数据x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y data (te...原创 2018-04-04 10:21:57 · 679 阅读 · 0 评论 -
pytorch 模型的保存和加载
本文转至:https://byjiang.com/2017/06/05/How_To_Save_And_Restore_Model/在模型完成训练后,我们需要将训练好的模型保存为一个文件供测试使用,或者因为一些原因我们需要继续之前的状态训练之前保存的模型,那么如何在PyTorch中保存和恢复模型呢?方法一(推荐):第一种方法也是官方推荐的方法,只保存和恢复模型中的参数。保存torch.save(t...转载 2018-03-28 17:03:53 · 3005 阅读 · 0 评论 -
torch.reshape /torch.Tensor.reshape
y = x.reshape([batchsize, -1, sentsize, wordsize])把 x 改变形状为(batch,-1, sentsize, wordsize)-1 维度会自动根据其他维度计算x = np.transpose(x,axes=(1,0,2,3)) 把x 转置 axes: 要进行转置 的轴兑换序号arr1 = np.arange(12).reshape(2,2,3)...原创 2018-04-02 15:36:21 · 30495 阅读 · 2 评论 -
torch.max
torch.max(input) → Tensor返回输入tensor中所有元素的最大值a = torch.randn(1, 3)>>0.4729 -0.2266 -0.2085torch.max(a)>>0.4729 torch.max(input, dim, keepdim=False, out=None) -> (Tensor, ...原创 2018-03-31 10:55:46 · 85982 阅读 · 7 评论 -
Gensim Word2vec 使用教程
存储加载模型model = Word2Vec.load_word2vec_format('/./data/GoogleNews-vectors-negative300.txt', binary=False)# using gzipped/bz2 input works too, no need to unzip:model= Word2Vec.load_word2vec_format('./...原创 2018-03-20 11:06:26 · 1488 阅读 · 0 评论 -
Pytorch model.train model.eval
model.train() model.eval()一般在模型训练和评价的时候会加上这两句,主要是针对model 在训练时和评价时不同的 Batch Normalization 和 Dropout 方法模式原创 2018-03-23 21:24:29 · 12215 阅读 · 2 评论 -
Pytorch 中的detach 和detach_
本文转自 http://blog.csdn.net/u012436149/article/details/76714349pytorch 的 Variable 对象中有两个方法,detach和 detach_ 本文主要介绍这两个方法的效果和 能用这两个方法干什么detach官方文档中,对这个方法是这么介绍的。返回一个新的 从当前图中分离的 Variable。返回的 Variable 永远不会需要梯...转载 2018-03-18 20:41:21 · 9676 阅读 · 2 评论 -
NN.Embedding
在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding# -*- coding: utf-8 -*-import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.autograd import Variablewor...转载 2018-03-17 13:00:21 · 5043 阅读 · 0 评论 -
Pytorch NN初始化参数
torch.nn.init.xavier_uniform(tensor, gain=1)using a uniform distribution values fills the input Tensor or Variable The resulting tensor will have values sampled from U (-a ,a)生成值都均匀分布在(-a,a)之间的 tensor...原创 2018-03-17 10:57:50 · 1502 阅读 · 0 评论 -
torch.stack(list)
torch.stack(list,0)list 中的每个元素为tensor 中第0维度的每个元素import torcha = torch.Tensor([[1, 3, 2], [1, 3, 2]])b = torch.Tensor([[2, 1, 1], [2, 1, 1]])c = torch.Tensor([[3, 2, 3], [2, 1, 1]])my_list =...原创 2018-12-15 11:40:14 · 9272 阅读 · 0 评论