pytorch
关注
分享
扫一扫
gukedream
人不能像走兽那样活着，应该追求知识和美德。
展开
-
PyTorch 1.0 数据加载与预处理
PyTorch 1.0 数据加载与预处理数据准备数据集的`类`组合 transforms迭代数据集最后，Torchvison更多数据准备在机器学习中，准备数据往往要耗费许多力气. PyTorch提供了许多工具来使数据加载变得更简单有用，同时可以让代码的可读性更高. 本文将演示怎样加载和预处理（包括数据增广）一个牛逼的数据集.本文将用到下面两个工具包：scikit-image：用于图像的输...原创 2019-01-10 22:13:25 · 1047 阅读 · 1 评论 -
Intel发布神经网络压缩库Distiller：快速利用前沿算法压缩PyTorch模型
Intel发布神经网络压缩库Distiller：快速利用前沿算法压缩PyTorch模型近日，Intel 开源了一个用于神经网络压缩的开源 Python 软件包 Distiller，它可以减少深度神经网络的内存占用、加快推断速度及节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法，例如产生稀疏性张量的方法和低精度运算等。项目地址：https://github.c...转载 2019-01-09 21:10:35 · 2149 阅读 · 0 评论 -
PyTorch 1.0 基础教程（5）：多GPU数据并行化加速
PyTorch 1.0 基础教程（5）：多GPU数据并行化加速本文将学习如何通过DataParallel使用多块GPU对数据进行并行化加速.在PyTorch上使用GPU是十分容易的，如，将模型转移到GPU中：device = torch.device("cuda:0")model.to(device)又或者将张量放到GPU:mytensor = my_tensor.to(device...原创 2019-01-09 20:54:47 · 7719 阅读 · 5 评论 -
PyTorch 1.0 基础教程（4）：训练分类器
PyTorch 1.0 基础教程（4）：训练分类器关于数据训练一个图像分类器1.加载和规范化CIFAR102.定义一个卷积神经网络3.定义损失函数和优化器4.训练网络5.用测试集测试网络在GPU上训练在多GPU上训练更多参考关于数据目前为止，我们已经定义了神经网络，计算损失，更新网络权重.接下来，我们要考虑数据的相关问题.通常来说，我们可以使用标准的python工具包将诸如图像，文本，音频...原创 2019-01-09 20:08:10 · 3278 阅读 · 1 评论 -
PyTorch 1.0 基础教程（3）：神经网络
PyTorch 1.0 基础教程（3）：神经网络 神经网络定义网络损失函数反向更新网络权重参考神经网络神经网络可以使用torch.nn工具包创建.到现在，你已经了解过了autograd，nn依赖于autograd来定义模型，以及对模型计算内部相关张量的微分. 一个nn.Module包含一些层和一个用于返回输出的forward(input)方法.例如，看看以下这个用于对图像中的数字进行分类的...原创 2019-01-08 21:20:18 · 2011 阅读 · 0 评论 -
PyTorch 学习资源 [持续更新]
PyTorch 学习资源 [持续更新]《深度学习入门之PyTorch》一书的附带源码点评：个人觉得，该项目附带的源码讲解，竟然比售卖的书的内容还要好，内容更加丰富，讲解更加详细，总之，含金量很高地址：https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch提示：pytorch版本0.4，支持jupyter...原创 2019-01-14 08:35:40 · 465 阅读 · 0 评论 -
CTC损失函数及其实现[1]
CTC损失函数及其实现[1]简介原理实现参考本文主要讲解了CTC损失函数的主要原理以及介绍了目前该损失函数的各种实现.简介显示中许多序列学习任务需要从含噪声，并且未分割的输入数据中预测出标签序列. 例如，语音识别，需要将声学信号转录成单词。RNNs似乎是一种适合这种任务的强大的序列学习器，但是，由于需要预分割的训练数据，以及需要后处理，将RNNs的输出转换为标签序列，使得该方法的应用受到限制...原创 2019-01-18 14:05:21 · 5907 阅读 · 0 评论 -
PyTorch 1.0 基础教程（2）：autograd: 自动微分器
PyTorch 1.0 基础教程（2）：autograd: 自动微分器张量梯度更多参考所有在PyTorch神经网络的核心是autograd包. 让我们来简要地观察一下这个，我们将先去训练我们的神经网络.autograd包为所有在张量上的操作提供自动微分.auto是一个通过运行来定义（define-by-run）的框架，意味着你的反向传播有你运行的代码定义，同时，每个迭代都可以不一样.接下来我...原创 2019-01-07 21:43:08 · 3211 阅读 · 1 评论 -
PyTorch 1.0 保存和加载模型
PyTorch 1.0 保存和加载模型什么是`state_dict`在推理阶段保存和加载模型Save/Load 整个模型为推理或恢复训练，保存和加载一个通用的Checkpoint在一个文件中保存多个模型使用不同模型的模型权重热启动网络模型交叉设备保存和加载模型参考本文将提供关于保存和加载PyTorch模型的各种用例的解决方案，本文不需要通读，可直接跳到需要用到的案例.当要保存和加载模型时，有三...原创 2019-01-12 22:09:59 · 7266 阅读 · 1 评论 -
PyTorch 1.0 之迁移学习--transfer learning
PyTorch 1.0 迁移学习前言加载数据可视化图像训练模型可视化模型的预测结果微调卷积网训练和评估将卷积网作为特征提取器再次训练和评估参考前言在本文中我们将讨论和实践怎样将迁移学习应用到我们网络的训练之中. 了解更多关于迁移学习的知识可以到cs231n笔记.引用cs231n的笔记如下：实际上，很少人完全从头开始训练一个卷积网络（使用随机初始化），因为往往难以有相对足够的数据规模能够满...原创 2019-01-11 21:34:16 · 917 阅读 · 0 评论 -
PyTorch 1.0 基础教程（1）：什么是PyTorch?
PyTorch 1.0 基础教程（1）：什么是PyTorch? 开始Tensors操作numpy bridge转换 Torch Tensor 到 NumPy 数组.转换NumPy 数组 到 Torch Tensor.CUDA Tensors参考它是一个基于python的科学计算包，主要有以下两个目标：作为numpy的替代品，以利用GPUs成为一个可以提供最大灵活性和速度的深度学习研究平台...原创 2019-01-07 19:31:49 · 3478 阅读 · 0 评论 -
PyTorch 1.0 系列学习教程（3）：nn module
PyTorch 1.0：nn module NN MODULEPyTorch:nnPyTorch:optimPyTorch:Custom nn ModulesPyTorch:Control Flow + Weight Sharing参考NN MODULEPyTorch:nn计算图和autograd对于定义复杂操作和自动推导来说是一个非常强大的范式；然而对于大型神经网络来说，原始autogra...原创 2019-01-06 18:55:29 · 4295 阅读 · 0 评论 -
PyTorch 1.0 系列学习教程（2）： autograd
PyTorch 1.0：autograd AUTOGRADPyTorch:Tensors and autogradPyTorch:Defining new autograd functionsTensorFlow:Static Graphs参考AUTOGRADPyTorch:Tensors and autograd上一篇的examples中，我们不得不手工实现网络的前向和反向传播. 手工实现...原创 2019-01-06 18:49:15 · 4483 阅读 · 0 评论 -
PyTorch 1.0 系列学习教程（1）： Tensors
PyTorch 1.0：TensorsTENSORSWarm-up: numpyPyTorch:Tensors参考这是我的pytorch学习记录的开篇.在这个tutorial中，通过自带的examples介绍PyTorch的基本概念.作为它的核心，PyTorch有2个主要的特征：一个n维Tensor，其类似与numpy但可以运行在GPUs上为构建和训练神经网络提供自动微分本文将使用一...原创 2019-01-06 18:41:11 · 7133 阅读 · 5 评论 -
DenseNet：比ResNet更优的CNN模型
前言在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的...转载 2019-02-12 14:35:56 · 1562 阅读 · 0 评论