![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 57
Sesen_s
这个作者很懒,什么都没留下…
展开
-
pytorch分布式训练 RuntimeError: all tensors must be on devices[0]
在pytorch分布式训练时,需要指定device_ids一般我们指定的方式为device_ids=range(cfg.gpus), gpus为我们使用的gpu数量model = MMDistributedDataParallel(model.cuda(), device_ids=[cfg.gpus])但是会出现:RuntimeError: all tensors must be on devices[0]有可能.原创 2020-05-27 14:03:00 · 1539 阅读 · 0 评论 -
python 源码-编译-安装
最近使用conda配置psenet所需的环境,opencv老是编译不对,生成的adaptor.so链接地址不对。重新编译安装opencv,conda安装下载很慢。终于下载编译opencv完毕,仍然出现错误:psenet/pse/adaptor.so: undefined symbol: _ZTVN2cv12_OutputArrayE解决思路:1、利用python源码,进行...原创 2020-04-22 10:49:04 · 402 阅读 · 0 评论 -
win10+ VS2015 + opencv3.4 + libtorch C++平台部署pytorch训练模型(ResNet50为例)(二)
未完待续。原创 2020-02-21 10:58:43 · 1498 阅读 · 9 评论 -
win10+ VS2015 + opencv3.4 + libtorch C++平台部署pytorch训练模型(ResNet50为例)(一)
吐血整理默认已经安装pytorch1.0以上版本,如果没有安装,可以使用如下命令进行安装(CPU版本,若想安装GPU CUDA版本,可以去官网https://pytorch.org/get-started/locally/选择):conda install pytorch torchvision cpuonly -c pytorch1、安装VS2015安装VS2015专业版,安装...原创 2020-02-21 10:57:38 · 5026 阅读 · 10 评论 -
ubuntu系统查看cuda及cudnn版本号
1、查看 CUDA 版本:cat /usr/local/cuda/version.txt2、查看 CUDNN 版本:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2原创 2019-12-04 13:34:36 · 227 阅读 · 0 评论 -
ubuntu系统配置Anaconda环境变量
1、安装anaconda后,执行命令$ conda输出 conda:未找到命令2、在跟目录下,打开etc/profile,添加anaconda环境变量root@node01:/# vim etc/profile在最后一行添加anoconda3/bin:export PATH=/opt/software/anaconda3/bin:$PATH# anconda3安装路...原创 2019-12-04 13:25:44 · 3110 阅读 · 0 评论 -
ubuntu系统下加速安装pytorch
1、ubuntu系统下新建用户,注意区分useradd和adduser的区别$ adduser name# 提示输入UNIX密码-确认密码-详细信息电话等useradd命令添加用户后,需要使用passwd name命令,写入密码。相比之下,adduser交互性更强一些。2、在anaconda网站下载适配于自己系统的安装包,安装完毕后,python已安装。3、安装GPU版本的...原创 2019-12-04 11:10:06 · 239 阅读 · 0 评论 -
Windows远程映射端口,访问服务器生成的tensorboard本地访问链接地址
服务器训练模型,得到log文件,记录loss,使用Tensorboard绘制曲线。在服务器中,切换到log所在目录,运行命令:$ tensorboard --logdir=log生成访问端口地址,chrom浏览器访问查看。通过ftp将log文件传输到labtop,在该目录所在地打开cmd问题1:tensorboard生成访问端口,浏览器打不开该网页问题2:打开后出现 No graph defina...原创 2018-07-05 15:57:28 · 3430 阅读 · 1 评论 -
声明显卡数与实际显卡数不符:hik_saccade训练时未使用GPU,只占用显存
hik_saccade训练时未使用GPU,只占用显存。分析原因,代码中设置0,1,2,3四张显卡,而实际中只用了两张显卡,导致另外两张找不到原创 2019-09-11 14:23:19 · 184 阅读 · 0 评论 -
pytorch训练过程中的chunk_size及num_workers
pytorch训练过程中的chunk_size及num_workers作用。Chunk_size:涉及到torch下的矩阵切片和划分,chunk_size有几个元素就占用几张显卡。num_workers:多进程提取数据,用于dataloaderDataLoader(dataset, batch_size=1, shuffle=False, sampler=None,num_work...原创 2019-09-11 14:12:57 · 3929 阅读 · 0 评论 -
图像数据集均值和方差计算
import numpy as npimport cv2import randomimport os# calculate means and stdfrom tqdm import tqdmimport numpy as nptrain_txt_path = './data/image.txt'image_prefix = '/data/image'CNum = 1000...原创 2019-08-21 16:31:06 · 1253 阅读 · 1 评论 -
深度学习模型训练时的一些考虑
1、首先,判断当前训练集上的性能是否可以接受。若模型在当前训练集上的性能表现很差,采用的算法无法在训练集上学习出良好的模型,那么暂且没有必要收集更多的数据。通过尝试增加网络层数或者每层更多的隐藏单元,以增加模型的拟合能力。此外,也可以尝试调整学习率等超参数的措施来改进学习算法。2、如果复杂度高的模型和仔细调试的优化算法效果不佳,问题可能源自训练数据集的质量。训练数据中可能存在太多噪声,或者可能...原创 2019-09-19 15:51:16 · 444 阅读 · 0 评论 -
图像数据集特征值和特征向量计算
train_txt_path = './data/image.txt'image_prefix = '/data/image'CNum = 10000 # select imagesimg_h, img_w = 32, 32imgs = np.zeros([img_w, img_h, 3, 1])with open(train_txt_path, 'r') as f: l...原创 2019-08-21 16:34:06 · 1947 阅读 · 5 评论 -
Python中常用的图像处理库
在对图像、视频数据做数据处理、数据增强时,常用到的库如下:1、Numpy:图像数据的中转,图像的翻转2、Skimage:速度较慢,读取颜色通道为RGB,HWC3、Opencv:cv2,图像预处理,读取BGR,通道HWC,范围[0,255] ,类型uint84、PIL:python自带的图像处理库,但功能较简单,读取RGB,通道HWC,范围[0,255],类型uint85、Pil...原创 2019-08-21 19:24:49 · 554 阅读 · 0 评论 -
KL loss:Bounding Box Regression with Uncertainty for Accurate Object Detection解读
Bounding Box Regression with Uncertainty for Accurate Object Detection(CVPR2019, 旷视)该论文是旷视2019年提出的,主要是使目标边框更加清晰,提升定位精度,提出了一种新的边界框回归损失,同时完成边界框变换和定位差异。在目标检测数据集中,ground-truth边界框在一些情况下存在固有的不确定性。 如下图所示...原创 2019-09-05 14:56:26 · 3888 阅读 · 0 评论 -
论文解读:Consistent Optimization for Single-Shot Object Detection
Consistent Optimization for Single-Shot Object Detection(2019)值得一看待补充 该论文的提出主要是为了解决训练和测试不一致问题。现在主流的目标检测算法,一般会包含两个分支,一个分类一个坐标框回归,这两个分支在anchor-free和anchor-based方法中一般都是独立的。问题在于,在进行分类的时候,使用的是原始的anch...原创 2019-09-05 15:26:09 · 576 阅读 · 0 评论 -
SE net:Squeeze-and-Excitation Networks论文解读
近期对有关注意力机制的两篇文章进行了解读。分别是可以嵌入到很多网络结构中去的SE block的提出论文SENet,以及在GAN生成领域引入注意力机制的SAGAN。这两篇文章都是很经典的文章,这里将其详细整理一下。SE Net:Squeeze-and-Excitation Networks (CVPR2018) 这篇文章的主要贡献是对通道间的依赖关系、各通道特征的权重进行了学习和分配。...原创 2019-10-09 14:26:06 · 1491 阅读 · 0 评论 -
SAGAN:Self-Attention Generative Adversarial Networks论文解读
在上一篇博客中,SEnet关注于各通道间的依赖关系,通过增强和减弱某个通道特征的表达使得网络有“注意力”。而SAGAN将注意力机制应用在GAN生成项目中,主要是每个feature map 和它自身的转置相乘,让任意两个位置的像素直接发生关系,这样就可以学习到任意两个像素之间的依赖关系,从而得到全局特征。从单个特征出发,使得网络有“注意力”能力。1、GAN生成图片时存在的问题 ...原创 2019-10-10 11:09:09 · 1554 阅读 · 0 评论 -
计算模型的参数量以及FLOPS
具体可以查看 https://github.com/Lyken17/pytorch-OpCounterTHOP: PyTorch-OpCounterpip install thoppip install --upgrade git+https://github.com/Lyken17/pytorch-OpCounter.gitclass YourModule(nn.Module):...原创 2019-06-09 14:37:28 · 2262 阅读 · 0 评论 -
MobileNetV1和shuffleNetV1
mobileNet和ShuffuleNet都是轻量化网络,通过减小参数量以及FLOPS计算量,达到轻量级要求,为部署到移动端做铺垫。1、mobileNet的主要特点是使用可分离卷积代替标准卷积,可分离卷积包括两个过程depthwise conv 和pointwise conv,depthwise相当于对上层特征图的每个通道单独做卷积操作,各通道之间互不影响,卷积核的数量与输入特征图的厚度相同,...原创 2019-08-05 22:05:47 · 306 阅读 · 0 评论 -
Densenet结构
1、特点:特征重用+减少参数量+深层监督 每一层特征都会作为下面所有层的输入,主要结构称为Denseblock,包括denseblock特征提取和transition融合(降采样)。 DenseNet打破了通过加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的思维定式,它从特征重用的角度,通过设置旁路,既大幅度地较少了网络的参数量又在一定程度上缓解了g...原创 2019-08-05 21:52:28 · 587 阅读 · 0 评论 -
dilated conv的优缺点和应用
1、空洞卷积优点:在不增加参数量的情况下,增大卷积核的感受野,同时它可以保证输出的特征映射(feature map)的大小保持不变。缺点:容易造成网格效应,局部信息丢失,每一层得到的卷积结果来自上一层的独立集合,没有相互依赖,因此该层之间的卷积结果没有相关性,造成局部细节丢失;同时由于空洞卷积稀疏的采样输入信息,使得远距离卷积得到的信息之间没有相关性。2、应用:语义分割、实例分割、目标...原创 2019-08-05 21:44:56 · 954 阅读 · 0 评论 -
CenterNet:Object as points 环境搭建遇到的错误
1、环境cuda10.1 出现ImportError: /home/CenterNet/src/lib/models/networks/DCNv2/_ext/dcn_v2/_dcn_v2.so: undefined symbol: __cudaPopCallConfiguration 解决:改为cuda9.02、修改环境为cuda9.0,cudnn7.0,torch0.4...原创 2019-06-09 14:34:49 · 2512 阅读 · 6 评论 -
Shell端运行.sh启动脚本被denied
添加训练脚本文件的可执行权利在shell下执行chmod +x *.sh原创 2019-06-09 14:32:48 · 268 阅读 · 0 评论 -
计算自己的图片数据集的均值、方差、特征值和特征向量
最近在一个实验中,需要统计我的图像数据集的均值和方差,以及特征值和特征向量。一、统计图片的均值和方差import numpy as npimport cv2import randomimport os# calculate means and stdfrom tqdm import tqdmimport numpy as nptrain_txt_path = './dat...原创 2019-06-09 14:31:38 · 5046 阅读 · 1 评论 -
ubuntu 代码后台运行
有时候网络不稳定,导致远程访问服务器时断掉。使用screen命令实现代码后台运行。开启一个新的窗口screen -S name # 创建一个窗口,并且为这个窗口命名断开窗口的连接而回到连接会话界面:Ctrl+a+D查看已开启的窗口screen -ls #可以查看已创建的所有窗口重新连接到某窗口,显示其运行过程screen -r name 终止某窗口对...原创 2019-06-13 22:02:50 · 1491 阅读 · 0 评论 -
Python之禅
The Zen of Python, by Tim PetersBeautiful is better than ugly.Explicit is better than implicit.Simple is better than complex.Complex is better than complicated.Flat is better than nested.S...转载 2019-08-09 14:54:55 · 112 阅读 · 0 评论 -
Cornernet-lite 环境配置
错误1 :运行Python demo.py error:Traceback (most recent call last): File "demo.py", line 6, in <module> from core.detectors import CornerNet_Squeeze File "/data/shiwei/CornerNet_Lite/core...原创 2019-05-14 09:44:27 · 3330 阅读 · 12 评论