深度学习相关博文
用于记录图像分类、目标检测、实例分割、目标跟踪等CV相关博文
ustczhng2012
望尽天涯路->【为伊消得人憔悴】->那人却在灯火阑珊处
展开
-
pytorch模型推理单张图片读取方式
import torchfrom torch import nnfrom PIL import Imagefrom torchvision import transforms, datasetsimport cv2class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=3.原创 2021-10-25 17:00:18 · 2733 阅读 · 0 评论 -
yolov5 loss总结
box loss objectness loss class loss total loss原创 2021-08-09 17:25:47 · 6855 阅读 · 2 评论 -
bflops计算
描述硬件运算性能的单位,全称是Billion Float operations per second,即每秒能进行多少个 十亿次浮点运算符。 描述某次卷积运算需要的多少个十亿次浮点运算,全称是billion float operations,将多次卷积等运算所耗费的blops加起来就可以来表示某个算法模型的复杂度。 计算公示 ...原创 2021-08-02 13:10:43 · 651 阅读 · 0 评论 -
pyinstaller打包项目程序找不到libmxnet.so问题
在/usr/local/lib/python3.5/dist-packages/PyInstaller/hooks目录下,创建hook-mxnet.py文件,内容如下from PyInstaller.utils.hooks import get_package_pathsdatas = [(get_package_paths('mxnet')[1],"mxnet"),]在spec文件中对Analysis的pathex增加mxnet所在的路径,如下示意 mxnet所在路径:/usr/local/原创 2021-05-18 12:49:14 · 677 阅读 · 0 评论 -
在python中安装GPU版本的mxnet
查询可用版本网址:https://dist.mxnet.io/python/ 以CUDA11.0的mxnet为例 pip install mxnet-cu110==1.9.0b20201117 -f https://dist.mxnet.io/python/cu110原创 2021-04-27 17:07:12 · 1246 阅读 · 3 评论 -
mxnet_v1.8.0.rc2_cuda11.1.0(ubuntu18.04_v1.2镜像)编译安装指导
DD原创 2021-04-26 16:22:00 · 1158 阅读 · 0 评论 -
GPU压力测试和故障定位
压力测试 获取gpu burn:我跟她https://codeload.github.com/wilicc/gpu-burn/zip/master 解压缩:unzip gpu-burn-master.zip 进入目录编译:cd gpu-burn-master; make 执行: 直接全跑:./gpu_burn 100 指定某几张卡:export CUDA_VISIBLE_DEVICES=0,1;./gpu_burn 100 故障定位 找出故障卡:dmesg -I err原创 2021-04-17 12:13:22 · 2573 阅读 · 1 评论 -
nvidia-smi显示结果详解
GPU GPU 编号 Name GPU 型号 Persistence-M 持续模式的状态。持续模式虽然耗能大,但是在新的应用启动时,花费的时间更少,这里显示的是off的状态 Fan 风扇转速,从0到100%之间变动 Temp 温度,单位是摄氏度 Perf 性能状态,从P0到P12,P0表示最大性能,P12表示状态最小性能(即 GPU 未工作时为P0,达到最大工作限度时为P12) Pwr:Usage/Cap 能耗 Memory Us原创 2021-04-17 08:00:36 · 3148 阅读 · 1 评论 -
ubuntu查看gpu相关版本号命令
查看gpu型号 nvidia-smi 查看gpu驱动版本 nvidia-smi 查看cuda版本 nvcc -V 查看cudnn版本 比较旧的版本:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 比较新的版本:cat /usr/include/cudnn.h | grep CUDNN_MAJOR -A 2 ...原创 2021-04-14 09:19:09 · 689 阅读 · 0 评论 -
mpiexec使用方法指导
单节点多程序 多节点单程序 多节点多程序原创 2021-04-07 16:31:53 · 10030 阅读 · 0 评论 -
cuda、Nvidia driver、GCC版本对应关系
一般cuda版本是依赖驱动版本的,相当于驱动给你提供平台,cuda相当于软件,确定了平台版本,软件版本可随自己设置确定。 cuda版本与mxnet版本是一一对应的,不可改变 cuda与driver对应版本参考链接:...原创 2021-03-04 15:42:51 · 7277 阅读 · 2 评论 -
ubuntu系统安装Nvdia Quadro P4000显卡驱动
确定显卡型号 lshw -numeric -C display 安装NVIDIA显卡驱动依赖 sudo dpkg --add-architecture i386 sudo apt-get update sudo apt-get install build-essential libc6:i386 关闭开源驱动 sudo bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf原创 2021-03-03 21:51:02 · 3295 阅读 · 1 评论 -
CNN模型之GoogleNet总结
背景原理源码原创 2021-01-19 22:11:05 · 265 阅读 · 1 评论 -
CNN模型之ResNeXt总结
背景原理源码原创 2021-01-19 21:47:39 · 100 阅读 · 0 评论 -
CNN模型之DenseNet总结
背景原理源码原创 2021-01-19 21:15:12 · 131 阅读 · 0 评论 -
CNN模型之VGG总结
背景VGG是Oxford的VisualGeometryGroup的组 VGG16论文:https://arxiv.org/abs/1409.1556原理源码原创 2021-01-19 21:07:23 · 652 阅读 · 0 评论 -
CNN模型之AlexNet总结
背景AlexNet论文:http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf原理源码原创 2021-01-19 20:30:34 · 153 阅读 · 0 评论 -
CNN模型之MobileNet总结
背景原理源码原创 2021-01-15 15:26:14 · 401 阅读 · 0 评论 -
CNN模型之ShuffleNet总结
背景ShuffleNet是旷视科技提出的一种计算高效的CNN模型。 类似MobileNet和SqueezeNet等一样,主要是想应用在移动端。 ShuffleNet的核心是两种操作:pointwise group convolution和channel shuffle,这在保持精度的同时大大降低了模型的计算量。原理源码...原创 2021-01-14 20:49:58 · 614 阅读 · 0 评论 -
mxnet模型前向计算方法总结
forwardne原创 2021-01-07 21:45:06 · 219 阅读 · 0 评论 -
mxnet加载模型参数方法以及保存方法总结
mx.gluon.SymbolBlockmx.model.load_checkpointmx.module.Module原创 2021-01-07 21:17:46 · 920 阅读 · 0 评论 -
mxnet打包数据和载入数据
图片形式mx.image.ImageItermx.io.NDArrayIterrec形式mx.io.ImageRecordItermx.recordio.MXRecordIOmx.recordio.MXIndexedRecordIO原创 2021-01-07 21:14:52 · 177 阅读 · 0 评论 -
import mxnet出现lllegal instruction问题记录
硬件环境: CPU:Intel Xeon Gold 5215 CPU@2.5GHz GPU:Nvidia T4卡一张 软件环境: 目标机是虚拟机 ubuntu16.04 在载入mxnet镜像后import mxnet时出现lllegal instruction问题: 原因时mxnet的核心部分为C++代码,制作mxnet镜像时会对核心部分进行编译生成机器码,这时机器码便依赖此时CPU支持的指令集(一般是sse和avx相关指令集),如果目标环境CPU支持指令集不匹配..原创 2020-12-11 23:19:06 · 435 阅读 · 1 评论 -
RoI Pooling和RoI Align总结
RoI Pooling8*8的特征图,bbox坐标为[0,3,7,8],希望得到2*2的输出。bbox的w=7、h=5,将其等分成4块做不到,只能在w上分成3、4,h上分成2、3,如下图所示在每块中做max pooling,得到下图结果RoI Pooling有两次取整,一次是从特征图上抠出区域,一次是对区域进行划分RoI Align计算没有落到具体pixel上,采用最近的pixel对这点虚拟pixel进行双线性插值,得到“pixel”值。具体如下图所示...原创 2020-12-05 21:06:16 · 198 阅读 · 0 评论 -
MXNet reshape操作(-1/-2/-3/-4)含义记录
0起一个占位符的作用,默认从左到右进行占位(除非传入reverse=1,则从右到左),维持原数组在该位置的维度。 input shape = (2,3,4), shape = (4,0,2), output shape = (4,3,2) # 中间维度维持不变 input shape = (2,3,4), shape = (2,0,0), output shape = (2,3,4) # 后两个维度维持不变 -1是最后进行推导的,先保证其他数字被照顾好之后,在reshape前后数组的size原创 2020-11-29 21:16:39 · 495 阅读 · 0 评论 -
CNN模型之ResNet总结
深度残差网络(Deep residual network, ResNet)是CNN图像史上里程碑的网络,其在ILSVRC和coco 2015的战绩如下表所示ImageNet Detection: 16% better than 2nd ImageNet Location: 27% better than 2nd Coco Detection: 11% better than 2nd coco segmentation: 12% better than 2nd ResNet参考了VGG19,原创 2020-11-29 13:13:20 · 721 阅读 · 0 评论 -
CNN模型之SeNet总结
Squeeze-and-Excitation Networks(SENet)是自动驾驶公司Momenta2017年公布的图像识别结构。 SE block网络结构示意图如下SE Net关键知识点 SE网络可以通过堆叠SE模块得到 SE模块也可以嵌入到现在几乎所有的网络结构中 前面层中的SE block以类别无关(class agnostic)的方式增强可共享的低层表示的质量 越后面层中SE block越来越类别相关 SE block重新调整特征的益处可以在整个网络中积累 SE原创 2020-11-28 22:48:40 · 724 阅读 · 0 评论 -
经典图像分类网络结构
AlexNet共8个网络层,分布是5个卷积层和3个全连接层(一般论文中计算网络层不包括池化层)VGG神经网络深度延伸到十几层,并且大量采用小尺寸的卷积层GoogleNet提出inception结构,该结构有多条分支,每条分支采用不同尺寸卷积核的卷积层ResNetILSVRC-2015图像分类任务冠军,也是CVPR2016的最佳论文 网络的训练深度延伸到了数百层 引入残差结构,使得深层网络训练能够顺利进行ResNetXt相比于ResNet引入了卷积层分组思想DenseNet原创 2020-11-16 22:09:45 · 819 阅读 · 0 评论 -
基于MXNet实现MNIST手写数字体识别
MNIST手写数字集:包含训练集和测试集,训练集有60000个样本,测试集有10000个样本。 MNIST手写数字训练代码分为:训练参数配置、数据读取、网络结构搭建、模型训练import mxnet as mximport argparseimport numpy as npimport gzipimport structimport loggingMNIST手写数字测试代码分为:模型导入、数据读取、模型推理输出import mxnet as mximport numpy as n原创 2020-11-15 14:55:27 · 254 阅读 · 0 评论 -
MXNet常用模块命令总结
NDArrayimport mxnet as mximport numpy as np# 通过NDArray初始化一个二维矩阵a = mx.nd.array([[1,2],[3,4]])# 初始化指定数值类型的数组b = mx.nd.array([[1,2],[3,4]],dtype=np.int8)# NDArray与Numpy转换c = a.asnumpy() # NDArray->Numpyd = mx.nd.array(c) # Numpy->NDArray#原创 2020-11-14 21:28:49 · 383 阅读 · 0 评论 -
安装GPU版本MXNet
直接安装方法sudo apt-get update sudo apt-get install -y python3 python3-pipDocker镜像安装方法原创 2020-11-14 09:33:43 · 1434 阅读 · 0 评论 -
深度学习常用资料网址链接
GluonCV官方代码:https://github.com/Eureca2017/gluon-cv 官方文档:https://cv.gluon.ai/MXNet官方代码:https://github.com/Eureca2017/incubator-mxnet 官方文档:https://mxnet.apache.org/versions/1.7.0/原创 2020-11-13 16:42:40 · 3547 阅读 · 0 评论 -
多个CPUs或GPUs数据并行运行MXNet
dist_sync:梯度和权重更新都在多个机器CPU上进行dist_devices_sync:梯度和权重更新都在多个机器GPU上进行原创 2020-11-13 09:08:46 · 157 阅读 · 0 评论 -
目标检测RCNN系列演进总结
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器||||––––原创 2020-10-25 10:38:07 · 312 阅读 · 1 评论 -
如何通过Focal loss解决目标检测中样本不平衡问题
一般one stage目标检测模型存在正负样本数量不均衡问题,基于此Focal Loss for Dense Object Detection一文提出Focal loss计算方法用于解决样本不平衡问题。原创 2020-10-12 16:15:54 · 1761 阅读 · 0 评论 -
OpenCv图像处理笔记总结
画图import numpy as npimport cv2import matplotlib.pyplot as plt# 显示图片def show(image): plt.imshow(image) plt.axis('off') plt.show()# 画直线;image:在该图像上绘制直线;(0, 0):直线起点; (300, 300):直线终点; green:直线颜色; 3:线的粗线green = (0, 255, 0)cv2.line(image,原创 2020-09-27 11:45:26 · 536 阅读 · 0 评论 -
安装GPU版本Pytorch
参考链接:https://www.cnblogs.com/moon3/p/12199588.html原创 2020-09-18 11:01:46 · 290 阅读 · 0 评论 -
安装GPU版本Tensorflow
查看当前驱动版本:nvidia-smi,如果失败,则没有安装驱动。 禁用nouveau驱动(ubuntu 18.04默认的第三方显卡驱动) # 其中4.4.0-31-generic视目录中具体情况而定mv /lib/modules/4.4.0-31-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko /lib/modules/4.4.0-31-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko.or原创 2020-05-18 20:51:57 · 419 阅读 · 0 评论 -
常用激活函数/损失函数/代价函数
激活函数LogisticSoftmaxRelu损失函数原创 2020-08-22 11:36:09 · 1071 阅读 · 0 评论 -
深度学习常用数据集获取
2007版本Train data and Validation data:http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar Test data:http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar 工具包:http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevki原创 2020-09-18 11:48:54 · 2284 阅读 · 0 评论