老潘的博客

算法工程师老潘总结的一些经验前一段时间一直在优化部署模型。这几天终于来了需求，又要开始重操训练一些新模型了。趁着这次机会总结了下之前的一些训练模型的笔记，可能比较杂，抛砖引玉！当然这是不完全统计的经验，除了训练部分，还有很多部署的坑没有写。算法工程师50%的时间是和数据打交道，有时候拷贝数据（分别从多个文件夹拷贝到某一文件夹）；有时候筛选数据（过滤掉一些质量不好的数据）；有时候把数据换个名字、加个前缀（为了后续训练的时候区分数据的特性，比如多尺度、多种图像增强策略）等等，这些工作可能一个月要重复n多次

还是爱折腾...前一阵子买了个新的笔记本电脑，幻13-3050TI-1T版本，全能本，CPU是8核心16线程的标压版AMD锐龙9-5900HS，显卡是NVIDIA-3050TI，重量和macbook差不多，都是1.4kg，便携、可以改变形态。大概长这样：可以变换3种形态（莫名有种兴奋感），可能也有人问我为啥不买macbook，没买的原因有两点：macbook不支持nvidia显卡，这个无解，没办法本地跑AI代码，只能远程服务器macbook用腻了，有一点审美疲劳，新版的macbook pro也

第一篇——什么是torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT 本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工具或者说一个库，是做python-to-python code transformation

好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节，就趁这次机会讲一下。算是量化番外篇。这是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量

Couldn’t load custom C++ ops. This can happen if your PyTorch and torchvision versions are incompatible一般来说，在pip install torvhvision会自动找到相应的pytorch版本进行安装，这个时候没啥问题。但是假如我们强行使两个版本不一致，比如pip install xxx --no-deps这样，肯定就会报错。解决方法就是使pytorch和torchvision版本一致：如.

开篇老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。这是那会的一篇文章，略显稚嫩哈哈：一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署转眼间过了这么久啦，神经网络量化应用已经完全实现大面积落地了、相比之前成熟多了！我工作的时候虽然也简单接

大家好我是老潘，我们又见面了~如果下文中有格式方面的错误，可以点击这里查看原文。老潘的AI宝藏内容也总结在这里！看源码本身就是一种学习，就像小时候写作文一样，看别人的好作文也就会模仿一些好的句子，一些好的段落。看源码也一样，不同大厂的源码写的风格也不一样，惯用的技巧也不一样，强调的规范也不一样，使用的C++标注也不一样（C++11、C++14等等）。但是如果想要深入学习一个框架的底层，看源码是必须的。我看过不少源码，也模仿过一些大厂源码的例子。最常见的例子就是抽象类、工厂、单例、注册等等机制

大家好我是老潘，我们又见面了~如果下文中有格式方面的错误，可以点击这里查看原文。老潘的AI宝藏内容也总结在这里！算法工程师50%的时间是和数据打交道，有时候拷贝数据（分别从多个文件夹拷贝到某一文件夹）；有时候筛选数据（过滤掉一些质量不好的数据）；有时候把数据换个名字、加个前缀（为了后续训练的时候区分数据的特性，比如多尺度、多种图像增强策略）等等，这些工作可能一个月要重复n多次，因此最好总结起来；可以用Python或者shell脚本来处理，或者用jupyter notebook存自己常用的文件处理.

Error Code 1: Myelin (cuBLASLt error 1 querying major version.)这种错误是因为没有找到合适的版本信息，在某些库寻找动态链接库的时候，会根据so后面的版本信息去寻找，如果没有找到则会报错。解决方法：将寻找路径的.so所有的版本后缀都设置一遍就OK~比如这样，使用ln -s libcublasLt.so.11 libcublasLt.so.11.5.2.43 命令设置好对应的so就可以： libcublasLt.so -> lib

大家好我是老潘，持续分享深度学习质量文，也会闲谈程序员的美好生活~宝藏内容以及如何找到老潘：老潘的AI宝藏内容也欢迎来我的博客做访：老潘的博客如果你对AI、深度学习、目标检测、图像分割、AI模型部署、模型优化等话题感兴趣，不妨尝试下关注老潘~前一段时间一直在优化部署模型。这几天终于来了需求，又要开始重操训练一些新模型了。趁着这次机会总结了下之前的一些训练模型的笔记，可能比较杂，抛砖引玉！当然这是不完全统计的经验，除了训练部分，还有很多部署的坑没有写。算法工程师50%的时间是和数据打交道，有.

C++作用域的主要用法就是减少名称互相冲突性的可能性。这个名称可以是变量、可以是函数、可以是类名称也可以是等等等等，总之是有名字的东西。因此标准C++引入关键字namespace（命名空间/名字空间/名称空间），可以更好地让我们控制标识符的作用域。来看下使用规则。一般的用法//定义一个名字为A的命名空间（变量、函数）namespace A { int a = 100;}namespace B { int a = 200;}void test(){ //A::a

最近使用Mac-mini-m1芯片的电脑在debug代码。使用的VSCODE进行调试，launch.json也设置好了，但是启动调试的时候总会出现：ERROR: Unable to start debugging. Unexpected LLDB output from command "-exec-run". process exited with status -1 (attach failed）这样的问题。不过在VSCODE外头通过lldb ./demo是可以的。不过还是找到了解决方案…在M1芯

class CV_EXPORTS RotatedRect{public: //! various constructors RotatedRect(); RotatedRect(const Point2f& center, const Size2f& size, float angle); RotatedRect(const CvBox2D& box); //! returns 4 vertices of the rectangle

在使用torchvision的op的时候，比如from torchvision.ops.nms如果遇到以下的问题：Couldn’t load custom C++ ops. This can happen if your PyTorch andtorchvision versions are incompatible, or if you had errors while compilingtorchvision from source. For further information on the

不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然熟悉的不能再熟悉了。英伟达的硬件足够优秀，但也需要足够的软件开发者去支撑才能真正的令其发展起来，对此英伟达是“上心的”。因为毕竟只有大家都用、大家都觉着好用、你也觉着好用，你才会用英伟达的产品，才会用它的GPU去做一些你感兴趣的事情(当然英伟达就可以卖钱啦)。这也就是生态。其实用了比较长时间英伟达的产品(显卡、嵌入式版本系

Hello我是老潘，好久不见各位。最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的：模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构模型的加速仍然不够，还没有压榨完GPU的全部潜力深感还有很多很多需要学习的地方啊。既然要学习，那么学习路线就显得比

首发于TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！，最新回复以及交流请看这里~前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。只是TensorRT的入门门槛略微高一点点，劝退了一部分玩家。一部分原因是官方文档也不够详细(其实也挺细了，只不过看起来有些杂乱)、资料不够；另一部分可能是因为TensorRT比较底层，需

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后老潘会说)，而且有助于模型的优化。然后导出来之后使用onnxruntime简单测试一下导出模型是否正确，是

紧接着前几天的事：特殊的日子，想起了当年的双(1080TI)显卡装机实录和炼丹炉买不起了:聊一聊这段日子的显卡行情之后，决定买一台整机玩玩。而现在，主机终于回！来！了！主机回来干什么，当然是——配置环境。老潘之前也有一些配置环境的文章，可以参考：ubuntu16.04下安装NVIDIA（cuda）-gtx965m相关步骤以及问题pytorch-0.2成功调用GPU：ubuntu16.04，Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置win10下安装使用pytor

首发于公众号「oldpan博客」原文链接前言前一阵子突然有了配主机的想法。呃，当然是为了搞深度学习。想象一下，亲手买下自己心仪的配件，然后用心组装起来，闻着显卡的香气，啊，满满的成就感。显卡预想着上RTX-3080或者3070，嗯，毕竟老潘已经是打工人了，有点小钱，除了上缴，也应该犒劳犒劳一下自己了。毕竟要搞深度学习嘛。打开手机，看看京东上显卡卖多少钱吧，记得30系列好像又便宜性能又强。嗯？哇靠？！什么情况！！显卡涨价涨到姥姥家去了！目前的情况目前的情况，简单说一句，就是显卡全线.