- 博客(11)
- 收藏
- 关注
RSS订阅
原创 TensorRT FP16 和 INT8 量化及关键问题点
一个线程需要两个内置的坐标变量(clockIdx，threadIdx)来唯一标识，他们都是dim3类型变量，其中blockIdx指明线程所在grid中的位置，二threadIdx指明线程所在的block中的位置;* 对于一个2-dim的block(Dx，Dy)，线程(x,y)的ID值为(x+y*Dx),如果是3-dim的block(Dx,Dy,Dz),线程(x,y,z)的ID值为(x+y*Dx+z*Dx*Dy);推断时，当优先考虑延迟时选择小的batch， 而优先考虑吞吐量时，选择大的batch。
2024-05-09 22:11:25
346
原创 TensorRT INT8 量化原理和实现
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
2024-03-06 21:43:32
1251
1
原创 模型参数和推理速度计算方案
需要客服GPU异步执行和GPU预热两个问题，下面例子使用Efficient-net-b0，在进行任何时间测量之间，我们通过网络运行一些虚拟示例来进行“GPU 预热”。接下来，我们使用 tr.cuda.event 来测量 GPU 上的时间。这行代码执行主机和设备（即GPU和CPU）之间的同步，因此只有在GPU上运行的进程完成后才会进行时间记录。模型的吞吐量定义为网络在单位时间内可以处理的最大输入实例数（second）。2）给定这个最佳批量大小，我们测量网络在一秒钟内可以处理的实例数。
2024-03-03 16:42:14
356
1
原创 路面分割-车道线条检测-深度估计模型python-onnx部署记录
然后通过位置概率获取x坐标，即：按图像的宽度方向，把图像分为若干个位置，比如该模型把图像按宽度分为200个位置，再加上一个点不住图像上位置，总共201个位置，模型会输出201个位置概率，即表示点落在该区域概率，输出维度 [1, 201, 18, 4](201个位置概率，一条车道线由18个点表示，4表示业务场景只存在4条车道线。cv2.resize(image,(288, 800), BGR->rgb,并标准化为np.float32， 维度转换(1,h,w,3)->(1,3,h,w)
2024-03-02 18:00:01
388
原创 windows下实现 yolov5的pcb版缺陷检测并完成c++部署
3、在data文件夹下新建labels文件夹，然后在yolov5-6.0文件夹下新建my_labels.py文件，并运行（注意路径，注意数据集类别）。2、将转换得到的best.onnx权重文件拷贝到yolov5-opencv-dnn-cpp-main文件夹下，修改yolo.h文件（修改成自己的数据类别名称）。4、新建在yolov5-opencv-dnn-cpp-main文件夹下build文件夹，然后在build文件夹下编译。4、在models文件夹下新建文件my_pcb.yaml（注意修改类别数量nc）
2024-02-28 21:49:04
633
2
原创 C语言指针详解
如果问C语言中最重要、威力最大的概念是什么，答案必将是指针！威力大，意味着使用方便、高效，同时也意味着语法复杂、容易出错。指针用的好，可以极大的提高代码执行效率、节约系统资源；如果用的不好，程序中将会充满陷阱、漏洞。这篇文章，我们就来聊聊指针。从最底层的内存存储空间开始，一直到应用层的各种指针使用技巧，循序渐进、抽丝剥茧，以最直白的语言进行讲解，让你一次看过瘾。说明：为了方便讲解和理解，文中配图的内存空间的地址是随便写的，在实际计算机中是要遵循地址对齐方式的。
2023-12-04 21:03:29
839
原创 浅谈 使用混淆矩阵分析目标检测
目前通常是计算预测框和真实框的IoU值，和阈值进行比较。第 3 张图，IoU < 阈值，没有与真实标注匹配，因此被判定为背景的误检；行代表实际的类别，列代表预测的类别。如下图是从行可以是 0 和 1两个类，但从列方向来看，有8个实例被预测为0， 2 个实例被预测为 1。也就是说在这10 个真是标签为 0 实例中，有 8 个被预测正确，有 2 个被错误分类。因为为了绘制混淆矩阵中的正负例，就需要区分检测结果中哪些是正确的，哪些是错误的，并对错误的检测也要归为不同的错误类别。二、目标检测中的混淆矩阵。
2023-11-19 21:07:40
392
1
原创 目标检测共性问题与详解
浅层网络负责提取边缘特征，深层网络可以提取更高级的语义特征，通过 FPN网络，可以将深层提取到的语义特征和浅层网络提取的边缘特征进行融合，指导浅层网络进行识别。二阶段在RPN网络中对前景和背景进行了分类和检测，这样就可以选择性的选择样本，正负样本趋于平衡，然后对一些重点参数进行分类训练，二一阶段既要做分类也要定位，最后基层中1*1的Conv的loss都混合在一起，没有明确的分工，哪些是做分类，哪些是回归，学习难度就增加了。FPN、空洞卷积，通过多尺度将下采样前的特征进行保留，尽力保留小目标；
2023-11-14 15:45:31
34
空空如也
vs code对cuda版本有要求嘛
2023-07-22
怎么收费的, 月卡年卡
2023-07-19
配置环境和代码环境不一致的问题
2023-07-17
语义分割, 模型部署课程问题
2023-07-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人