自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(534)
  • 收藏
  • 关注

转载 【调参】batch_size的选择

当有足够算力时,选取batch size为32或更小一些。算力不够时,在效率和泛化性之间做trade-off,尽量选择更小的batch size。当模型训练到尾声,想更精细化地提高成绩(比如论文实验/比赛到最后),有一个有用的trick,就是设置batch size为1,即做纯SGD,慢慢把error磨低。

2022-11-25 10:52:23 9

转载 【Markdown】github上如何为markdown文件生成目录

熟悉markdown都知道可以使用[TOC]自动生成markdown文件的标题目录,比如在typora,vscode(需要插件)等本地编辑器中,或者在CSDN等网页编辑器中,但是github却不支持[TOC]标签。笔者目前了解到的最最最简单的莫过于VSCode中的Markdown All in One 插件了,安装后点开md文件,然后快捷键CTRL(CMD)+SHIFT+P,输入Markdown All in One: Create Table of Contents回车即可。

2022-11-23 17:56:02 20

原创 遥感影像智能处理比赛收集

近年来遥感影像智能处理比赛逐渐增多,既有周期性比赛,也有相关单位、企业主办的专题比赛,或周期性综合比赛中的专题赛道。

2022-11-23 15:10:28 248

转载 【LightGBM】feature_importance获取特征重要性

使用LightGBM.feature_importance()函数给训练完毕的LightGBM模型的各特征进行重要性排序。

2022-10-29 15:27:31 298

原创 解决MMCV CUDA Compiler : not available

安装完mmcv-full使用mmdetection时,提示MMCV CUDA Compiler : not available,发现并未使用GPU。导致无法使用GPU的原因可能包括以下几种:没有安装与pytorch等匹配的CUDA环境,或CUDA路径不在环境变量中pytorch安装的是cpu版本MMCV安装时没有编译到CUDA

2022-10-28 23:37:29 94

转载 【比赛方案】2019年CCF大数据与计算智能大赛乘用车细分市场销量预测冠军解决方案

共使用一个lgb模型与一个规则模型进行融合,总运行时长约3min 代码全部整合到一个文件里了,共约500行本次比赛初赛有60个车型,复赛有82个车型,由于初赛时长较长,复赛时长较短,因此复赛时我们保留了初赛60个车型的预测结果 整体的代码结构为使用初赛60车型预测60车型,复赛全部82车型预测剩下的22个车型由于赛题比较简单,主要的工作集中在特征工程与对赛题的分析上,思路简单

2022-10-27 07:34:04 40

转载 【Pandas】相关性分析corrwith与corr

pandas有两类相关性分析的函数,分别是DataFrame的corrwith和Series的corr,注意这俩不能混用。corrwith用于计算DataFrame中行与行或者列与列之间的相关性,而corr用于计算Series之间的相关性,是corrwith的最小单元。

2022-10-26 10:09:52 182

转载 【scikit-learn】scaler.fit_transform()和transform()的区别与使用

scikit-learn提供了Scaler来进行数据的标准化处理,例如StandardScaler类是一个用来讲数据进行均值方差归一化的类。必须先用fit_transform(partData),之后再transform(restData)

2022-10-25 10:32:25 128

原创 【PyTorch】nn.TransformerEncoder 使用 src_key_padding_mask 时出现nan

在使用nn.TransformerEncoder时,不使用src_key_padding_mask,编码的输出正常,使用src_key_padding_mask后编码结果变成nan了。出现nan的原因来自于src_key_padding_mask,src_key_padding_mask 是一个二值化的tensor,在需要被忽略地方应该是True,在需要保留原值的情况下,是False。检查发现src_key_padding_mask全为True,此时会导致编码后结果全为nan。

2022-10-25 10:25:04 395

原创 【Python】使用f格式化时出现SyntaxError: invalid syntax错误

python中f""和"".format()是等价的,前者更加简洁。但是在低版本python中并不支持f"",会导致语法错误SyntaxError: invalid syntax,出现该错误时,需要使用高版本python或者改为.format()以兼容。

2022-10-25 10:14:02 366

转载 【PyTorch】torch.nn.Transformer解读与应用

torch.nn.Transformer解读与应用

2022-10-25 10:06:43 118

转载 时间序列数据的特征工程总结

一个典型的时间序列数据,会包含以下几列:时间戳,时序值,序列的属性变量

2022-10-24 09:15:44 114

转载 【Pandas】两个DataFrame找出不同元素(作差)

两个DataFarame,存在相同的内容,也存在不同的内容,找出其中不同的内容。可以通过元素删除来间接实现

2022-10-21 16:31:34 27

转载 【pandas】dataframe中重复数据比较、筛选、去除等

当需要的是DataFrame那些重复数据,尤其是要比较重复数据的异同时,就需要将重复数据提取出来时,再关联原数据,并做排序,进行比较。方法一、主要思路:1. 采用drop_duplicates对数据去两次重,一次将重复数据保留一个(keep='first),另一次将重复数据全部去除(keep=False);2. 合并两者,并去重,得到重复的字段;3、由重复的字段,得到原数据的重复所有数据,并进行排序,便于比较数据的异同;

2022-10-21 16:28:08 479

转载 【Pandas】如何在 DataFrame 中插入行

pd.DataFrame的insert方法是用于插入列的,想插入行的话需要借助numpy.insert。

2022-10-21 16:21:19 125

转载 【numpy】判断一个数组元素是否在另一个数组内 numpy.isin

​numpy使用numpy.isin(element, test_elements),可以判断一个数组元素是否在另一个数组内。详细用法请见官方文档。 该方法依次检查element中的元素是否在test_elements里面,支持两个不同维度的数组,返回结果的维度是第一个数组。

2022-10-20 18:34:42 42

转载 Getting Started with PyTorch Image Models (timm): A Practitioner’s Guide

本文给出了在自己代码中使用优秀timm库的实操教程

2022-10-19 14:50:48 53

原创 【Python】TypeError: __init__() takes 1 positional argument but 2 were given

TypeError: __init__() takes 1 positional argument but 2 were given。看代码感觉定义了dict参数后,使用**传参,感觉没问题但却报错了。跟代码发现定义的dict传参时实际是一个tuple,tuple里的元素是dict,因此修改以上代码传参部分。

2022-10-17 13:05:12 135

转载 【Pytorch】梯度累积原理与实现

深度学习训练的时候,数据的batch size大小受到GPU内存限制,batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下,模型越来越大,那么这就意味着数据的batch size智能缩小,这个时候,梯度累积(Gradient Accumulation)可以作为一种简单的解决方案来解决这个问题。

2022-10-13 17:56:02 142

转载 【损失函数】图像分割损失CELoss中添加 OHEM

语义分割中常用交叉熵损失CE,在应用中通常添加OHEM以获取更好的收敛(经验阈值是0.7),这里OHEM思想的来源是topk loss。

2022-10-12 14:45:37 162

转载 【训练加速】优化PyTorch的速度和内存效率(2022)

深度学习模型的训练/推理过程涉及很多步骤。在有限的时间和资源条件下,每个迭代的速度越快,整个模型的预测性能就越快。我收集了几个PyTorch技巧,以最大化内存使用效率和最小化运行时间。为了更好地利用这些技巧,我们还需要理解它们如何以及为什么有效。

2022-10-12 09:27:20 128

原创 【numpy】TypeError: only size-1 arrays can be converted to Python scalars

使用math.exp()函数进行np.array矩阵x计算时出错:TypeError: only size-1 arrays can be converted to Python scalars。这是由于math.exp()函数不支持矩阵变量操作,可以使用numpy.exp()替代。

2022-10-11 23:55:38 413

原创 python使用numpy进行排序后返回相应的索引

python中原生的sort()方法直接对列表进行排序,并不返回索引,如果想返回索引可以使用numpy.argsort()方法

2022-10-11 17:14:27 532

转载 【OpenCV】获取轮廓(连通域)的面积、周长、矩形度、圆形度、宽长比、周径比

获取轮廓(连通域)的面积、周长、矩形度、圆形度、宽长比、周径比

2022-10-11 14:32:28 710

转载 【PyTorch】使用 MaxPool 实现图像的膨胀和腐蚀

PyTorch使用 MaxPool 实现图像的膨胀和腐蚀

2022-10-11 14:17:33 33

原创 【PyCharm】Couldn‘t refresh skeletons for remote interpreter: Can‘t get remote credentials for server

连接远程服务器的pycharm崩溃后,程序无法调试,出现错误:Couldn't refresh skeletons for remote interpreter: Can't get remote credentials for deployment server root@172.*.*.*:22 password。 查看interpreter没有问题,尝试置空interpreter重新设置后恢复正常。

2022-10-09 17:15:28 191

原创 【PyCharm】pydev debugger: warning: trying to add breakpoint to file that does not exist

连接远程服务器的pycharm崩溃后,程序无法调试,出现错误:pydev debugger: warning: trying to add breakpoint to file that does not exist: /home/root/d:/path/code.py 考虑是pycharm工程设置出了问题,检查发现pycharm的远程interpreter中的路径映射变成空了,重新添加路径映射解决问题。

2022-10-09 16:50:51 305

转载 【OpenCV】连通域处理函数cv2.connectedComponentsWithStats和cv2.connectedComponents

connectedComponents()仅仅创建了一个标记图(图中不同连通域使用不同的标记,和原图宽高一致),connectedComponentsWithStats()可以完成上面任务,除此之外,还可以返回每个连通区域的重要信息–bounding box, area, andcentroid。

2022-10-09 14:25:54 258

原创 Pycharm无法上传错误 Upload to *** failed. Could not list the contents of folder “sftp

Pycharm无法上传错误 Upload to *** failed. Could not list the contents of folder "sftp。之前设置的路径中,Root path是/,Development path是工程路径。改为Root path直接是工程路径,Development path是/,就可以正常上传了。

2022-10-09 10:17:53 108

转载 【论文-损失函数】Learning with Average Top-k Loss

该损失适用于在线难例挖掘。即在训练时选择前K个loss较大的样本进行back propagate(bp),而loss较小的样本(easy samples)则认为分类正确不用bp(loss较小可认为学会了,既然学会了就没有必要再学,也就不需要bp了),这里的前K可以是一个百分比,即前K%的hard样本,如70%,这个是MTCNN OHSM 采用的方法,注意K不能太大(论文中最佳结果是10%)否则不能达到hard sample mining的作用。训练经验而言,不用TopK loss会出现很多很难解决的误检问题

2022-10-08 18:36:20 96

原创 【Pyinstaller】OSError: [WinError 126] 找不到指定的模块。 Error loading “*.dll“ or one of its dependencies

使用pyinstaller打包程序执行时出现错误,OSError: [WinError 126] 找不到指定的模块。 Error loading "...\torch\lib\caffe2_nvrtc.dll" or one of its dependencies.本以为是打包时少了这个dll但查看打包的程序中包含这个dll,那就是这个dll依赖库缺失的问题。使用depends查看发现少了nvrtc64_112_0.dll。

2022-10-08 15:36:20 439 2

转载 Python中的*args和**kwargs

在Python中的代码中经常会见到这两个词 args 和 kwargs,前面通常还会加上一个或者两个星号。其实这只是编程人员约定的变量名字,args 是 arguments 的缩写,表示位置参数;kwargs 是 keyword arguments 的缩写,表示关键字参数。这其实就是 Python 中可变参数的两种形式,并且 *args 必须放在 **kwargs 的前面,因为位置参数在关键字参数的前面。

2022-10-08 09:10:11 15

转载 torch.optim.lr_scheduler.CosineAnnealingWarmRestarts、OneCycleLR定义与使用

torch中有多种余弦退火学习率调整方法,包括:OneCycleLR、CosineAnnealingLR和CosineAnnealingWarmRestarts。

2022-10-03 17:31:29 347

转载 迁移学习中域适应简介

域适应是计算机视觉的一个领域,我们的目标是在源数据集上训练一个神经网络,并确保在显著不同于源数据集的目标数据集上也有良好的准确性。

2022-10-03 09:19:26 203

原创 shapefile读取shp错误Error: ‘utf-8‘ codec can‘t decode byte

shapefile读取shp错误Error: 'utf-8' codec can't decode byte。出错是由于shp中字段的记录中有中文字符,尝试修改cpg文件中的编码,无效。暂未解决,只能将中文记录改成英文。

2022-09-21 10:48:07 70

原创 TypeError: Expected ‘Iterator‘ as the return annotation for __iter__ of ExperienceSourceDataset

使用pl_bolts时产生错误TypeError: Expected 'Iterator' as the return annotation for __iter__ of ExperienceSourceDataset, but found typing.Iterable,从该源更新安装pip install git+https://github.com/PytorchLightning/lightning-bolts.git@master --upgrade

2022-09-17 15:28:51 86

转载 【Matplotlib】Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure

使用Matplotlib时报错:Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.加入use(‘TkAgg’)语句,加入以后可能还是无法显示图片,原因在于mpl.use(‘TkAgg’)语句要在导入所有包之后即最后加。

2022-09-15 10:02:33 434

原创 【论文-目标追踪】BoT-SORT: Robust Associations Multi-Pedestrian Tracking

作者针对卡尔曼滤波次优估计、相机运动问题和指标权衡问题提出了新的追踪器,并整合到了ByteTrack。卡尔曼部分的优化是直接估计宽高取代原来的宽高比和高,获得更准确的宽度估计和HOTA;对于相机运动引入了相机运动补偿方法,通过纠正像面坐标来减少相机刚性运动的影响;对于常用的线性加权运动和外观代价函数,设计了新的代价函数获取更好的检测正例负例分离,获取更好的MOTA和IDF1。......

2022-08-31 18:43:17 965

原创 【论文-目标追踪】ByteTrack: Multi-Object Tracking by Associating Every Detection Box

ByteTrack针对追踪任务中对遮挡等低分预测框直接丢弃导致的目标丢失和路径破碎,也考虑低分框,设计了两阶段的关联匹配方法,首先对高分框关联匹配,然后对未匹配的低分框进行关联匹配,两者不同的是后者考虑到低分框存在遮挡或扰动,表观特征的相似性可能不可信,只使用IOU用于关联。ByteTrack在MOT17和MOT20上取得了SOTA,并在应用到9种追踪器中产生了提升。...............

2022-08-30 18:42:27 630

转载 使用BCELoss出现RuntimeError: Found dtype Long but expected Float

crossentropyloss要求batch_label必须为torch.int类型,这里BCELoss的batch_label类型为torch.float

2022-08-26 15:46:01 155

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除