- 博客(6)
- 收藏
- 关注
原创 人脸表征学习
Visual foundation model 泛指在大规模数据上(形式包括但不限于图像、视频、图文对等)进行无监督、自监督、有监督预训练得到的模型。基于预训练阶段学习到的通用视觉表征,我们可以通过微调迁移到其他下游任务,譬如图像分类、目标检测、分割、图像生成等多种视觉任务。人脸相关任务一直是视觉领域应用最广泛的任务,但近年来对于人脸表征学习的关注度却有所下降。怎样把人脸数据和视觉表征大模型进行有机结合是一个不错的研究方向。
2024-03-13 14:39:45 354
原创 PyTorch 分布式训练
博文记录PyTorch 单机多卡操作总结:分布式DataParallel,混合精度,Horovod)结合代码,描述详尽,通俗易懂PyTorch 源码解读之 DP & DDP:模型并行和分布式训练解析PyTorch源码解读系列文章,代码/伪代码相结合,图文并茂,参考资料丰富Distributed training of Deep Learning models with PyTorch理解Backward过程中Map-ReduceBringing HPC Techniq
2022-04-01 17:42:18 110
原创 [占坑] Equalized learning rate implementation
本文主要挖一个关于「Equalized Learning Rate」的坑,后续再填。
2022-01-15 17:45:40 1170
原创 PyTorch requires_grad/detach
前情提要在排查GAN训练失真问题时,对pytorch中梯度相关知识进行了回顾,特此记录,以便自我回顾。参考文章在pytorch中停止梯度流的若干办法,避免不必要模块的参数更新一文搞透pytorch中的tensor、autograd、反向传播和计算图pytorch训练GAN时的detach()测试代码import torchimport torch.nn as nndef test_requires_grad(requires_grad=False): torc
2021-09-10 11:31:18 177
原创 Mac安装CPU-only Caffe
这里写自定义目录标题鸣谢本地环境安装步骤准备工作安装依赖项获取caffe编译caffe遇到的问题正文之外的废话新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML ...
2019-04-13 04:22:43 790 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人