- 博客(14)
- 收藏
- 关注
原创 A ConvNet for the 2020s
论文:https://arxiv.org/pdf/2201.03545.pdf代码:https://github.com/facebookresearch/ConvNeXt摘要视觉任务的20年代以ViT(Vision Transformers)为始,并迅速超越ConvNet成为性能最佳的图像分类模型。但是面对复杂的计算机视觉任务,比如目标检测、语义分割等,普通的ViT模型也面临着困难。分层Transformer(如Swin Transformer)重新引入了ConvNet先验信息,使得Transfor
2022-03-29 18:36:11
3250
原创 使用torch.autograd.function解决dist.all_gather不能反向传播问题
最近在用mmcv复现Partial FC模型,看到源码中,有单独写的前向反向传播,甚是疑惑~源码: # Features all-gathertotal_features = torch.zeros(features.size()[0] * cfg.world_size, cfg.embedding_size, device=local_rank)dist.all_gather(lis
2021-06-30 16:13:06
1876
1
原创 为啥训练速度慢(一)
最近训练时,数据集比较大,读取数据需要花费好长好长的时间,一直找不到原因,现在终于找了的!!!是因为我在做测试的时候,怕图片文件路存在,加了个文件路径存在判断,但是后来忘了删除掉,,这个真的超级费时间!背景:数据只读前5000条,即只有50张图片;同一批数据,读10次,计算每次读取时间;1)这个是加了路径判断之后,记录每一次的读取时间:for i in range(24): # 同一批数据读24次 time_t.tic() with open(self.list_dir) a
2021-03-31 16:09:03
1329
原创 人脸识别论文:Partial FC: Training 10 Million Identities on a Single Machine
1. 背景介绍在当前的分类任务研究中,大多数损失函数都是基于Softmax Loss或者其变体(如NormFace、ArcFace、Circle Loss、AdaCos等改进),训练效果也很好,但是当数据集的类别数量较大时,对于GPU的占用也会特别的大。训练一个百万甚至千万级别的人脸数据集,基于Softmax Loss或者其改进形式作为损失的模型是非常耗时的。DeepInsight发布的Partial-FC人脸识别模型,对传统的softmax层进行了优化,一定程度上解决了大规模人脸识别模型训练中,对GP
2021-03-31 14:43:14
1541
原创 环境变量修改
1. 显示当前环境变量//显示当前PATH环境变量,该变量的值由一系列以冒号分隔的目录名组成****@*******:~$ echo $PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/gamesPATH是一个字符串,而$PATH则表明PATH是一个变量, 比如:echo PATH 输出PATHecho $PATH 则输出环境变量 PATH2. 修改环境变量2.1 方法一:直接添加直接在命令行
2020-12-31 17:47:09
1049
原创 mmcv优化器参数
1. train_parameters# build model model = builder.build_classifier(cfg.model) logger.info(model) if global_rank == 0: for param in model.train_parameters(): # 第0层: list; 第一层: 字典 logger.info(param.keys()) # tra
2020-12-31 16:52:21
905
1
原创 Softmax loss 之 Large Margin Softmax(L-softmax)
关于softmax、softmaxloss的详细介绍可见于:https://blog.csdn.net/u014380165/article/details/77284921large margin softmax论文中说道,softmax+cross-entropy loss是CNNs中最为常见的代价组合,效果不错,但是没有对特征有区别的学习。所以论文基于它提出L-Softmax,强化特征的类内紧凑和类间疏离。Softmax loss1. 定义Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
2020-09-28 11:25:05
1322
转载 反向传播时出现NaN
症状:前向计算一切正常、梯度反向传播的时候就出现异常,梯度从某一层开始出现Nan值(Nan: Not a number缩写,在numpy中,np.nan != np.nan,是唯一个不等于自身的数)。フォワードの計算に異常なしでも、その模型の変量をアプデートする時に異常な数字が出る。Pythonのプログラムにあるなら、Nanというもの現れることです。根因:原因目前遇到的分为两种,其一——你使用了power(x, a) (a < 1)这样的算子,因为power函数这样的算子,在梯度反向传播阶段时,求
2020-09-26 16:34:10
1707
原创 local_loss
论文是关于目标检测的,针对两方面的问题:1. 如何强化难样本2. 极度不平衡的正负样本(目标检测中会有大量的负样本出现)针对class imbalance,改进cross entropy loss,降低分类较好的样本的权重。focal loss集中解决:训练少量难样本,防止出现大量简单负样本覆盖的情况。二、相关工作中问题1. class imbalanceone-stage的目标检测 在训练时面临巨大的类别样本不均衡的情况。这种不均衡造成问题:(1) 很多位置的训练是不充分的,这些位置里 简单
2020-09-25 11:27:20
932
原创 Cross Domain Knowledge Transfer for Person Re-identification笔记
Cross Domain Knowledge Transfer for Person Re-identification笔记1 介绍2 相关工作3 方法3.1 特征提取的ResNet3.2 特征强化的属性识别3.3 .LSTM with the Spacial GateGlobal maskLocal maskSoft attention maskFine-grained attention mas...
2019-08-21 15:52:31
837
原创 Re-ranking Person Re-identification with k-reciprocal Encoding笔记
Re-ranking Person Re-identification with k-reciprocal Encoding
2019-08-21 15:52:07
690
转载 Siamese network 孪生神经网络--一个简单神奇的结构
Siamese network 孪生神经网络--一个简单神奇的结构link:https://www.jianshu.com/p/92d7f6eaacf5名字的由来Siamese和Chinese有点像。Siam是古时候泰国的称呼,中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思,这是为什么呢?十九世纪泰国出生了一对连体婴儿,当时的医学...
2019-08-21 15:51:25
380
原创 Person Re-identification:Past,Present and Future笔记
Person Re-identification:Past,Present and Future笔记摘要introductionhistory摘要将当下re-ID方法分为两类:基于图像(image-based) 和 基于视频序列(video-based)。具体讲了更接近实际应用的心得reid任务,在大的图片库(gallery)应用端到端的reid( end-to-end re-ID )和快速...
2019-08-21 15:51:03
2338
转载 Deep Group-shuffling Random Walk for Person Re-identification
Deep Group-shuffling Random Walk for Person Re-identification笔记Motivation and Related WorkOverviewDeep Group-shuffling Random WalkDeep Similarity-Guided Graph Neural NetworkGraph and nodefeature updat...
2019-08-21 15:49:47
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人