pytorch
BruceWu1234
遇见最好的自己
展开
-
pytorch学习笔记系列(2):实现Linear Regression
pytorch实现Linear Regression做预测时numpy()函数不能计算带有requires grad属性的参数,因此需要使用detachimport torchimport torch.nn as nnimport numpy as npimport matplotlib.pyplot as plt# Hyper-parametersinput_size = 1...原创 2019-03-24 23:01:56 · 197 阅读 · 0 评论 -
beam search及pytorch实现
主要记录两种不同的beam search版本版本一,使用类似层次遍历的方式进行搜索,用队列进行维护,每次循环对当前层的所有节点进行搜索,这些节点每个分别对应topk个节点作为下一层候选节点,取所有候选节点的前tok个作为下一层节点加入队列bfs with width constraint. 启发式搜索的一种. 属于贪心算法. 如果k -> inf,那么等价于bfs.从根节点开始(),...原创 2019-07-13 00:12:01 · 10393 阅读 · 3 评论 -
seq2seq以及attention模型的pytorch实现(以机器翻译为例)
前言本系列教程为pytorch官网文档翻译。本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html系列教程总目录传送门:我是一个传送门本系列教程\对应的 jupyter notebook 可以在我的Github仓库下载:下载地址:https://github.com/Hol...原创 2019-04-20 00:25:53 · 4624 阅读 · 2 评论 -
pytorch中的一些细节
RNN中隐状态hhh的维度默认为(seq_len, batch_size, input_size),此时batch_first=False,另外在NLP任务中,input_size为embedding_dim当设置batch_first为True时,维度为(batch_size, seq_len,input_size)...原创 2019-04-03 17:16:35 · 610 阅读 · 1 评论 -
文本分类系列(2):TextRNN及其pytorch实现
[文本分类系列(1):TextCNN及其pytorch实现](https://blog.csdn.net/u014514939/article/details/88834548)TextRNN尽管TextCNN能够在很多任务里面能有不错的表现,但CNN有个最大问题是固定 filter_size 的视野,一方面无法建模更长的序列信息,另一方面 filter_size 的超参调节也很繁琐。CNN...原创 2019-03-27 18:18:32 · 6340 阅读 · 8 评论 -
文本分类系列(1):textcnn及其pytorch实现
textcnn原理:核心点在于使用卷积来捕捉局部相关性,具体到文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。textcnn详细过程:第一层是图中最左边的7乘5的句子矩阵,每行是词向量,维度=5,这个可以类比为图像中的原始像素点了。然后经过不同 filter_size的一维卷积层(这里是2,3,4),每个filter_size 有filter_num(这里是2)个输...原创 2019-03-27 02:15:45 · 11846 阅读 · 7 评论 -
torchtext入门教程,轻松玩转文本数据处理
用深度学习做nlp也有一段时间了,熟悉这块内容的同学都知道,实践算法的时候,写模型是个简单的事,最麻烦的是数据处理,数据处理不仅会浪费我们大部分时间,而且会消耗很大的计算资源,浪费人力物力。今年开始接触pytorch,简洁的API,动态图,更加灵活的编写模式,诸多优点不用多说。最近尝试使用torchtext工具,这里想先说明的是,torchtext并不是pytorch所独有的,使用其它深度学习框架...转载 2019-03-27 00:38:24 · 3704 阅读 · 0 评论 -
pytorch学习笔记系列(6):循环神经网络和双向循环神经网络---MNIST数据集
Pytorch中LSTM的定义如下:class torch.nn.LSTM(*args, **kwargs)参数列表input_size:x的特征维度hidden_size:隐藏层的特征维度num_layers:lstm隐层的层数,默认为1bias:False则bih=0b_{ih}=0bih=0和bhh=0b_{hh}=0bhh=0. 默认为Truebatch_first:...原创 2019-03-25 15:13:11 · 1027 阅读 · 1 评论 -
pytorch学习笔记系列(5):卷积神经网络Conv2d&&Conv1d
关于 nn.torch.Conv2d 函数CLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)假设 Conv2d 的输入 input 尺寸为 (N,Cin,Hin,Win)(N,C_{in},H_{in},W_...原创 2019-03-25 00:12:51 · 2771 阅读 · 2 评论 -
pytorch学习笔记系列(4):前向神经网络
import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transforms# Device configurationdevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# Hyp...原创 2019-03-24 23:33:36 · 436 阅读 · 0 评论 -
pytorch学习笔记系列(3):Logistic Regression实现MNIST数据集分类
import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transforms# 超参数input_size = 784num_classes = 10num_epochs = 5batch_size = 100learning_rate = 0.001# MNIS...原创 2019-03-24 23:25:23 · 816 阅读 · 0 评论 -
pytorch学习笔记系列(1):基础运算
import torch import torchvisionimport torch.nn as nnimport numpy as npimport torchvision.transforms as transforms# ================================================================== ## ...原创 2019-03-24 23:03:48 · 242 阅读 · 0 评论 -
神经网络中的各种归一化算法
摘要 神经网络中有各种归一化算法:Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)。从公式看它们都差不多:无非是减去均值,除以标准差,再施以线性映射。y=γ(x−μ(x)σ(x))y=γ(\frac{x-μ(x)}{σ...原创 2019-07-13 16:45:43 · 3264 阅读 · 0 评论