老潘的博客

torch.fx量化第二篇

还是爱折腾...前一阵子买了个新的笔记本电脑，幻13-3050TI-1T版本，全能本，CPU是8核心16线程的标压版AMD锐龙9-5900HS，显卡是NVIDIA-3050TI，重量和macbook差不多，都是1.4kg，便携、可以改变形态。大概长这样：可以变换3种形态（莫名有种兴奋感），可能也有人问我为啥不买macbook，没买的原因有两点：macbook不支持nvidia显卡，这个无解，没办法本地跑AI代码，只能远程服务器macbook用腻了，有一点审美疲劳，新版的macbook pro也

第一篇——什么是torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT 本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工具或者说一个库，是做python-to-python code transformation

Couldn’t load custom C++ ops. This can happen if your PyTorch and torchvision versions are incompatible一般来说，在pip install torvhvision会自动找到相应的pytorch版本进行安装，这个时候没啥问题。但是假如我们强行使两个版本不一致，比如pip install xxx --no-deps这样，肯定就会报错。解决方法就是使pytorch和torchvision版本一致：如.

在使用torchvision的op的时候，比如from torchvision.ops.nms如果遇到以下的问题：Couldn’t load custom C++ ops. This can happen if your PyTorch andtorchvision versions are incompatible, or if you had errors while compilingtorchvision from source. For further information on the

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后老潘会说)，而且有助于模型的优化。然后导出来之后使用onnxruntime简单测试一下导出模型是否正确，是

紧接着前几天的事：特殊的日子，想起了当年的双(1080TI)显卡装机实录和炼丹炉买不起了:聊一聊这段日子的显卡行情之后，决定买一台整机玩玩。而现在，主机终于回！来！了！主机回来干什么，当然是——配置环境。老潘之前也有一些配置环境的文章，可以参考：ubuntu16.04下安装NVIDIA（cuda）-gtx965m相关步骤以及问题pytorch-0.2成功调用GPU：ubuntu16.04，Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置win10下安装使用pytor

yahaha~你终于找到这里了。这里收集了老潘总结的深度原创文和珍藏的资料，相信可以帮助到你。列一下博客的关键词：深度学习、神经网络、模型部署落地、服务器推理、Pytorch、TensorRT、Caffe、Python、C++、算法等。如果这里刚好有你需要的，能够帮助到你，我会非常开心(PS:内心无比激动~)。这里的每一篇文章都值得你精读，每周都会更新，有关算法工程师和模型部署工程师的学习路线在文末。老潘本潘老潘不是严格的算法工程师，虽然也训练一些模型，但是对模型部署和产品落地更为感兴趣，也做过

前言我们对Pytorch的debug一般都是在python端进行，这对于一般搭建模型的任务来说足够了。但如果我们需要对Pytorch进行一些修改或者研究一下机器或深度学习系统是如何搭建的，想要深入探索就必须涉及到C++的源码层面。举个栗子，例如torch.rand(3, 4)这个函数，在Python我们无法通过python端debug进入其内部实现，也无法找到其定义，自然也无法探索其具体的实现细节，所以，为了更好地对Pytorch进行探索和调试，有必要对Pytorch的C++部分进行debug。准备工

文中涉及到大量的Pytorch的C++源码，版本为1.4.0，适合有一定Pytorch源码基础的童鞋观看，同时也涉及到一些python中的C/C++拓展的一些基础知识，其中每一段代码的第一行表明了该代码的文件位置。需要注意有些代码是自动生成的，原始工程中并没有，需要对pytorch源码编译后才会生成出来。还要注意一点，因为Pytorch仍在积极开发中，可能代码接口变化还是比较频繁。当你看到本文的时候，有可能展示的源码与master版的略有不同，但是大部分的代码逻辑变动不大，我们只需要知道核心工作原理即可

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。好久没写关于TensorRT的文章了，所幸就以新来开头吧~接下来将要讲解的TensorRT，将会是基于7.0版本。7版本开头的TensorRT变化还是挺大的，增加了很多新特性，但是TensorRT的核心运作方式还是没有什么变化的，关于TensorRT的介绍可以看之前写的这两篇：利用TensorRT对深度学习进行

1、expected CPU tensor (got CUDA tensor)期望得到CPU类型张量，得到的却是CUDA张量类型。很典型的错误，例如计算图中有的参数为cuda型有的参数却是cpu型就会遇到这样的错误。>>> import torch>>> from torch.autograd import Variable>>> a = torch.Tensor([1])>>> b = to

一般我们进行深度学习大部分是在本地进行调试，到实验室台式机中进行炼丹，这样来我们必须时刻待在实验室。接下来要说的，通过云服务器这种方法就可以随时随地进行深度学习。最终我们实现的是远程进行深度学习的程序运行，打开一个深度学习项目，将pycharm的解释器换为远程GPU云服务器的解释器，然后在你的便携笔记本上跑就行了…前提条件： 1、便携式笔记本电脑（本人是Macbookpro13.3） 2、GP

迁移学习 迁移学习是深度学习中一种常用的方法，核心思想为利用一个已经在其他训练集训练好的模型的材料（权重值或者特征层）来对目标训练集进行训练。利用另一个训练集训练好的模型，我们可以：提取其训练好的特征层（fixed feature extractor），去除其最后的分类层（全连接层）。注意，去除最后一层后保留的最后一层中是激活层，举个例子，在AlexNet中此层的维数为4096，这一层是非常

pytorch的入门教程中有这样的一句：12345loss = torch.nn.MSELoss(size_average=True)input = Variable(torch.ones(2,2), requires_grad=True)target = Variable(torch.Tensor([[3,3],[3,3]]))output = loss(input, target)

Generative Adversarial Networks（生成对抗网络）In 2014, Goodfellow et al. presented a method for training generative models called Generative Adversarial Networks (GANs for short). In a GAN, we build two diffe

pytorch 0.3发布了性能提升、新的网络层，支持ONNX，正式支持CUDA9、CuDNNv7，大量bug修复。 Performance improvements, new layers, ship models to other frameworks (via ONNX), CUDA9, CuDNNv7, lots of bug fixes 具体更新信息请移步官方的release：http

素材来源自cs231n-assignment3-NetworkVisualizationsaliency mapsaliency map即特征图，可以告诉我们图像中的像素点对图像分类结果的影响。计算它的时候首先要计算与图像像素对应的正确分类中的标准化分数的梯度(这是一个标量)。如果图像的形状是(3, H, W)，这个梯度的形状也是(3, H, W)；对于图像中的每个像素点，这个梯度告诉我们当像素点

文章移到：https://oldpan.me/archives/pytorch-rookie-care-tensor-max-gather pytorch中有很多操作比较隐晦，需要仔细研究结合一些例子才能知道如何操作，在此对这些进行总结！torch.gather(input, dim, index, out=None) → Tensor先看官方的介绍： 如果input是一个...