- 博客(14)
- 收藏
- 关注
RSS订阅原创 A ConvNet for the 2020s
论文：https://arxiv.org/pdf/2201.03545.pdf代码：https://github.com/facebookresearch/ConvNeXt摘要视觉任务的20年代以ViT(Vision Transformers)为始，并迅速超越ConvNet成为性能最佳的图像分类模型。但是面对复杂的计算机视觉任务，比如目标检测、语义分割等，普通的ViT模型也面临着困难。分层Transformer(如Swin Transformer)重新引入了ConvNet先验信息，使得Transfor
2022-03-29 18:36:11
3251
原创 使用torch.autograd.function解决dist.all_gather不能反向传播问题
最近在用mmcv复现Partial FC模型，看到源码中，有单独写的前向反向传播，甚是疑惑～源码： # Features all-gathertotal_features = torch.zeros(features.size()[0] * cfg.world_size, cfg.embedding_size, device=local_rank)dist.all_gather(lis
2021-06-30 16:13:06
1882
1
原创 为啥训练速度慢（一）
最近训练时，数据集比较大，读取数据需要花费好长好长的时间，一直找不到原因，现在终于找了的！！！是因为我在做测试的时候，怕图片文件路存在，加了个文件路径存在判断，但是后来忘了删除掉，，这个真的超级费时间！背景：数据只读前5000条，即只有50张图片；同一批数据，读10次，计算每次读取时间；1）这个是加了路径判断之后，记录每一次的读取时间：for i in range(24): # 同一批数据读24次 time_t.tic() with open(self.list_dir) a
2021-03-31 16:09:03
1329
原创 人脸识别论文：Partial FC: Training 10 Million Identities on a Single Machine
1. 背景介绍在当前的分类任务研究中，大多数损失函数都是基于Softmax Loss或者其变体（如NormFace、ArcFace、Circle Loss、AdaCos等改进），训练效果也很好，但是当数据集的类别数量较大时，对于GPU的占用也会特别的大。训练一个百万甚至千万级别的人脸数据集，基于Softmax Loss或者其改进形式作为损失的模型是非常耗时的。DeepInsight发布的Partial-FC人脸识别模型，对传统的softmax层进行了优化，一定程度上解决了大规模人脸识别模型训练中，对GP
2021-03-31 14:43:14
1547
原创 环境变量修改
1. 显示当前环境变量//显示当前PATH环境变量，该变量的值由一系列以冒号分隔的目录名组成****@*******:~$ echo $PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/gamesPATH是一个字符串，而$PATH则表明PATH是一个变量， 比如：echo PATH 输出PATHecho $PATH 则输出环境变量 PATH2. 修改环境变量2.1 方法一：直接添加直接在命令行
2020-12-31 17:47:09
1049
原创 mmcv优化器参数
1. train_parameters# build model model = builder.build_classifier(cfg.model) logger.info(model) if global_rank == 0: for param in model.train_parameters(): # 第0层： list; 第一层： 字典 logger.info(param.keys()) # tra
2020-12-31 16:52:21
907
1
原创 Softmax loss 之 Large Margin Softmax(L-softmax)
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。Softmax loss1. 定义Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
2020-09-28 11:25:05
1325
转载 反向传播时出现NaN
症状：前向计算一切正常、梯度反向传播的时候就出现异常，梯度从某一层开始出现Nan值（Nan: Not a number缩写，在numpy中，np.nan != np.nan，是唯一个不等于自身的数）。フォワードの計算に異常なしでも、その模型の変量をアプデートする時に異常な数字が出る。Pythonのプログラムにあるなら、Nanというもの現れることです。根因：原因目前遇到的分为两种，其一——你使用了power(x, a) (a < 1)这样的算子，因为power函数这样的算子，在梯度反向传播阶段时，求
2020-09-26 16:34:10
1716
原创 local_loss
论文是关于目标检测的，针对两方面的问题：1. 如何强化难样本2. 极度不平衡的正负样本（目标检测中会有大量的负样本出现）针对class imbalance,改进cross entropy loss，降低分类较好的样本的权重。focal loss集中解决：训练少量难样本，防止出现大量简单负样本覆盖的情况。二、相关工作中问题1. class imbalanceone-stage的目标检测 在训练时面临巨大的类别样本不均衡的情况。这种不均衡造成问题：（1） 很多位置的训练是不充分的，这些位置里 简单
2020-09-25 11:27:20
935
原创 Cross Domain Knowledge Transfer for Person Re-identification笔记
Cross Domain Knowledge Transfer for Person Re-identification笔记1 介绍2 相关工作3 方法3.1 特征提取的ResNet3.2 特征强化的属性识别3.3 .LSTM with the Spacial GateGlobal maskLocal maskSoft attention maskFine-grained attention mas...
2019-08-21 15:52:31
841
原创 Re-ranking Person Re-identification with k-reciprocal Encoding笔记
Re-ranking Person Re-identification with k-reciprocal Encoding
2019-08-21 15:52:07
691
转载 Siamese network 孪生神经网络--一个简单神奇的结构
Siamese network 孪生神经网络--一个简单神奇的结构link:https://www.jianshu.com/p/92d7f6eaacf5名字的由来Siamese和Chinese有点像。Siam是古时候泰国的称呼，中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思，这是为什么呢？十九世纪泰国出生了一对连体婴儿，当时的医学...
2019-08-21 15:51:25
380
原创 Person Re-identification:Past,Present and Future笔记
Person Re-identification:Past,Present and Future笔记摘要introductionhistory摘要将当下re-ID方法分为两类：基于图像（image-based） 和 基于视频序列（video-based）。具体讲了更接近实际应用的心得reid任务，在大的图片库（gallery）应用端到端的reid（ end-to-end re-ID ）和快速...
2019-08-21 15:51:03
2338
转载 Deep Group-shuffling Random Walk for Person Re-identification
Deep Group-shuffling Random Walk for Person Re-identification笔记Motivation and Related WorkOverviewDeep Group-shuffling Random WalkDeep Similarity-Guided Graph Neural NetworkGraph and nodefeature updat...
2019-08-21 15:49:47
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人