- 博客(48)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 0.pytorch lightning 入门
子类中可以使用原生pytorch nn.Module创建的模块搭建PL的模型，然后在training_step()方法中实现损失计算的过程。将的子类传入Trainer后，即会自动调用计算损失并反向传播。
2023-04-04 15:38:32
724
1
原创 11.pytorch lightning之ModelCheckpoint
callback回调就是在合适的时候调用相应的函数，比如在训练开始前，训练结束后，每个epoch前后等等。training_step(), validation_step(), test_step()等函数都是在合适的时候被调用的。需要注意的是，montior指定的指标必须在LightningModule类中指定。另外也可以使用YAML文件配置。
2023-04-27 19:48:19
1383
原创 10.pytorch lightning之命令行接口CLI
CLI可以很容易地配置训练（主要是model、data、trainer）时的各个参数，将代码与配置分离，避免直接改动代码。
2023-04-27 19:47:30
1886
2
原创 9.pytorch lightning之数据模块LightningDataModule
在原生pytorch代码中，针对train/val/test的不同阶段通常先创建多个dataset和dataloader，而在lightning 则将这些封装在一起，只需在fit()是传入单个ightningDataModule对象。这在半监督场景尤其有用，只需先将多个loader 用list，dict对象包装在一起，再封装在CombinedLoader中，注意CombinedLoader要求版本>2.0。LightningDataModule是一个可重用的类，内部封闭处理数据所需的步骤。
2023-04-27 19:46:53
1852
原创 8.pytorch lightning之训练时的技术
accumulate_grad_batches=K，设置后会每K个batches累积梯度，然后反向传播一次，相当于增加了batch size但内存没有增加。为了搜索学习率，LightningModule模型中必须声明一个learning_rate属性，创建Tuner对象，调用lr_fine方法。的方法将学习率逐渐增大，然后运行少量batches，最后绘制loss vs lr曲线，并给出建议的学习率。绘制的曲线如下，红点为建议值，建议不是最低点，而是在最陡峭的下坡中间。PL中内置学习率搜索工具，其使用论文。
2023-04-27 19:42:00
942
原创 7.pytorch lightning 之GPU设置
这个也很简单，但要注意版本，官方文档给出的是2.0以上的使用方法。使用方法是设置Trainer的accelerator和device 参数。
2023-04-27 19:41:32
3838
原创 6.pytorch lightning 跟踪训练
模型训练时，通常需要查看trainig_loss确认训练过程是否正常，以及根据验证集评估的精度保存模型，则需要将这些信息记录，用于logger自动绘制学习曲线等。另外，你可以需要查看模型推理结果是否正常，则可以记录模型预测的图片、文本等结果。训练管理器Trainer会根据相应的设置（比如ModelCheckpoint 保存模型的callback）执行处理流程。为了跟踪训练，在 LightningModule的方法中调用self.log /self.log_dict。
2023-04-27 19:39:32
460
原创 Segment Anything
将prompt learning 引入至视觉任务中，设计了图像分割任务预训练模型。提示词可以是位置点、矩形框、文本和掩码等。task: 为能避免歧义，对于每个prompt输出三个mask，分别对应整体、部分和更小的部分。model: 一个大的image enocder，不同类型prompt的encoder，然后mask decoder （包含自注意力和交叉注意力）预测。data: 三阶段生成了1.1B高质量masks的大规模数据集SA-1B。（1）人工自由标注，但无需给出label。
2023-04-08 21:28:55
1107
原创 3.pytorch lightning之加载权重
使用预训练的模型分两种情况，一种是pytorch训练的，lightning的模型也包括其中，另外一种是第三方的。第三方的详见对应的使用说明。
2023-04-07 15:23:44
959
2
原创 pytorch lightning
lightning 是pytorch的轻量级高层API，类似keras之于tensorflow。它利用hook将主要逻辑拆分成不同step，如training_step，validation_step, test_step等，只需为你的模型重写这些需要的方法实现相应的逻辑，给入数据集加载器和创建的模型以实例化Trainer，然后就可以调用fit()训练。模型训练与测试完整逻辑。
2023-04-04 14:00:19
1116
原创 ddpm代码注释
predict_start_from_noise方法从噪声中预测原始图像，对应公式115。返回q_posterior ：q(x_t-1|xt, x0)的均值和方差，公式71。正向扩散链的过程，返回分布的均值与方差，见公式61。
2023-03-28 22:41:35
347
原创 ＜Change is Everywhere: Single-Temporal Supervised Object Change Detection in Remote Sensing Imagery＞
阅读笔记这是iccv2021的一篇关于遥感影像变化检测的论文。变化检测要求指出同一地方不同时刻（paired）的变化区域，即公式1。目前的方法通常使用双时相数据(paried bitemporal images)进行监督学习（图1a），本文提出一种使用单时相数据的方法进行监督训练（图1b），即训练时使用不同区域的图片(unpaired single-temporal images)。这样，需要的工作是如何从unpaired images 中构造监督信号用于训练。图1minθL(Fθ(Xt1,Xt2
2022-02-11 16:42:29
2520
4
原创 《PROTOTYPICAL CONTRASTIVE LEARNING OF UNSUPERVISED REPRESENTATIONS》学习笔记
PROTOTYPICAL CONTRASTIVE LEARNING引言方法实验Low-shot classification特征可视化消融实验引言本文提出了一种无监督表征学习方法，主要针对对比损失(contrastive loss) 和聚类方法(deep cluster)方法改进，对比损失主要基于噪声对比估计(noise contrastive estimator)，将同分布的embedding 拉近，不同分布的embedding距离推远。这些方法的主要问题是对比损失针对的实例判别任务只需浅层特征就可以
2021-12-26 22:41:00
1927
原创 《Learning from Synthetic Data for Crowd Counting in the Wild》阅读与调试
1.方法简介基于GTA5渲染人员密集的场景，从游戏数据中获取标注组成GTA5 Crowd Counting (GCC) Dataset。数据集使用方式有两种：（1）算法再GCC 中先训练再在真实数据集中微调；（2）基于域适应的方法2.数据采集2.1 主要步骤1.场景选择。选择100个典型场所，每个场所四个摄像头，总共400种场景。2.人物模型。265个人物模型。3.场景合成。GTA5限制每个画面最多256个人。同一场景下多个人物非重叠画面合成。2.2 流程（a)选择场景和摄像头位置（b)
2021-05-19 09:32:34
322
1
Swin Transformer阅读笔记
Swin Transformer1.介绍2.方法2.1 网络结构2.2 Swin Transformer block2.2.1 MSA2.2.2 W-MSA2.2.3 SW-MSA3. 实验图像分类目标检测语义分割消融实验Shifted window Transformer: Transformer 结构的计算机视觉通用网络框架1.介绍Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：1. 两个领域涉及的尺度不同，NLP的scale是标准固定的，每个单词的向量长度固定，而CV的sc
2021-04-19 15:20:47
456
2
原创 robosat调试
文章目录0.参考资料1. 系统准备工作1.1 设备及系统1.2 安装 Docker1.3 在 Docker 中安装 Robosat2. 数据准备工作2.1下载[osm](http://download.geofabrik.de/)数据2.2 osmium-tool工具提取2.1中矩形区域osm数据2.3 利用 rs extract 来从 OSM 的底图提取几何图形。2.4 提取训练区覆盖的瓦片行列号2.5下载训练区遥感影像瓦片2.6 制作训练区矢量数据蒙版标记3. 训练和建模3.1 分配训练数据、验证数据、
2021-03-23 11:17:01
781
5
原创 基于Docker配置多用户GPU环境（仅为个人备注）
ubuntu environmentsNvidia drivertimeshiftCUDANvidia driverhttps://zhuanlan.zhihu.com/p/115758882timeshifthttps://blog.csdn.net/lovely_yoshino/article/details/107288684CUDA
2021-03-22 21:47:24
1244
原创 ubuntu 重装系统 Home文件夹数据保存
当你不得不重装Ubuntu系统时，在home文件夹一定要注意备份1。重装前，还在旧系统中，使用硬盘备份需要的数据，2。使用timeshift备份，在设置-用户-user home direcotries选项中，在home选项中选中"include All"，这样备份时自动备份home文件夹下内容。3。前两种方法最方便稳妥，若无法进入系统图形界面，必须重装系统，则在手动分区时，home分区位置...
2019-12-19 11:19:20
1473
原创 树莓派+无人机Tello+计算棒实时飞行检测实现
硬件树莓派3b 无人机telllo ubuntu 主机软件大疆tello sdk,按说明测试Tello_video 在主机上视频传输功能，树莓派安装openvino计算棒环境，树莓派中测试检测算法方案因为使用树莓派+计算棒2代+无人机tello实时检测时，树莓派无法完成实时h246数据解码任务，因此改用ubuntu主机完成图传与解码，保存图像至共享目录中，树莓派读取图像进行检测任务使用...
2019-12-12 19:53:50
1921
1
原创 vot 调试错误记录
1.Python tracker trax support not detectedhttps://github.com/votchallenge/vot-toolkit/issues/215python 跟踪器trax 出错解决过程两步，python 安装trax ，trax编译， tracker_linkpath指定路径下载Trax，终端定位到/path-to-trax/support...
2019-09-08 11:54:33
523
原创 《Deep Layer Aggregation》泛读记录
文章目录概述DLA 深层聚合Iterative Deep Aggregation 迭代深度聚合Hierarchical Deep aggregation 分层聚合概述视觉任务理想的特征表示应该包含语义信息和空间信息，这样能更好地分类和定位。这样单独使用一层骨干网络特征层是明显不够的。已有多种网络模型使用组合、聚合的方式（FPN, DenseNet,…)，但FPN结构会受浅层特征影响，Dense...
2019-07-28 10:33:25
523
原创 《Collaborative Deep Reinforcement Learning for Multi-Object Tracking》泛读记录
文章目录概述方法Prediction network 预测网络Collaborative Deep Reinforcement Learning概述一种结合强化学习的多目标跟踪框架，目前Tracking by detection 方法依赖目标检测算法准确性，本文希望使用强化学习设计prediction-decision 网络 prediction 部分预测目标新的位置，decision 决定如...
2019-07-22 10:23:38
758
原创 《Real-time ‘Actor-Critic’ Tracking》阅读笔记
Real-time ‘Actor-Critic’ Tracking摘要介绍方法问题描述离线训练网络结构训练在线跟踪摘要提出基于强化学习算法演员-评论家算法(Actor-Critic)的实时单目标跟踪算法。Actor 用于在连续动作空间(action space)中选择最优决策跟踪目标当前位置，Critic预测Q值引导两部分训练学习。介绍深度学习算法太慢，关于强化学习用于跟踪有一篇论文提出一...
2019-07-11 10:01:45
444
原创 CENet与Unet
都是用于图像分割，都是编码与解码的网络结构UnetCENet1.特征提取用的ResNet2.DAC block 是inception结构和空洞卷积3.RMP block 是多个pool 大小的计算结果 上采样 后与输入合并...
2019-07-09 16:45:09
5489
原创 Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 阅读笔记
文章目录摘要背景ADNet网络结构决策过程Adnet 训练监督学习阶段强化学习阶段在线调整实验变种方法比较不同方法比较总结摘要利用强化学习方法提出性能与速度均衡的跟踪器，可以离线训练，在线微调，并且基于深度强化学习半监督学习。背景目前跟踪方法主要问题，根据跟踪模型匹配在搜索区域选择候选框的方法低效，并且要求足够多的标记数据集。本文提出动作决策网络(Action-decison netwo...
2019-06-26 20:50:17
659
2
原创 《Region Proposal by Guided Anchoring》阅读笔记
文章目录参考背景网络结构Anchor 生成方法FormulationAnchor 位置预测Anchor 形状预测Feature adaptation moduleAnchor 比较Anchor 与GT 匹配位置匹配形状匹配训练总损失实验结果参考Guided Anchoring: 物体检测器也能自己学 Anchor 背景目前目标检测任务的先验框都是基于anchor机制，对于两步检测（Fast...
2019-06-21 16:06:40
518
原创 Beyond triplet loss: a deep quadruplet network for person re-identification泛读记录
文章目录概述方法The triplet lossThe quadruplet lossRelationships of different lossescontrastive loss概述三元损失训练的模型泛化能力不强，类内方差依然较大，作者提出四元损失函数，用于减小类内方差 和 增加类间方差。贡献1.四元损失函数2.基于边缘在线难例选择策略3.对Loss的理论分析4.实验方法T...
2019-06-14 16:56:28
703
原创 Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification 泛读记录
文章目录
2019-06-04 15:54:57
605
原创 FaceNet: A Unified Embedding for Face Recognition and Clustering 泛读记录
文章目录三元样本选择深度卷积网络数据集与评价指标实验运算与精度权衡网络结构的影响图片质量嵌入层维度训练集大小三元样本选择直接根据公式1在整个数据集上选择最难正样本与负样本是不可行的。因为训练集中可能有错误标注的样本与不清晰的样本，这些样本可能占据正负样本，导致不好的训练效果。1.每n步离线生成样本组，使用最新网络检查点在一个子集上计算argmin,argmax2.在线生成，在mini-ba...
2019-06-04 11:27:59
183
原创 Deep Transfer Learning for Person Re-identification 简单记录
推荐：【行人识别】Deep Transfer Learning for Person Re-identification行人重识别数据集标注代价大，且数据集不够，但迁移学习在ReID中表现不佳。贡献1。GoogleNet 特征提取，分类与鉴别网络分类网络（将每个身份视为一个类，每个特征分别输入分类网络输出对应身份）dropout对两个特征采用随机方法，鉴别网络（两个特征输入孪生网络判别是否...
2019-06-03 20:33:18
412
原创 Improving Person Re-identification by Attribute and Identity Learning 泛读记录
推荐：paper reading——《Improving Person Re-identification by Attribute and Identity Learning》目标属性检测器辅助重识别器贡献1：包含属性检测的多任务网络2。给两个大数据集增加性网络结构数据集属性分布身份识别损失q(y)=1q(y) = 1q(y)=1，其余为0属性分类损失q(ground−t...
2019-06-03 20:06:21
344
原创 Object Detection in 20 Years: A Surve 泛读记录
Object Detection in 20 Years: A Survey文章目录发展历程传统检测器Viola Jones DetectorsHOG 方向梯度直方图Deformable Part-based Model (DPM)基于卷积神经网络的目标检测两步检测器RCNNSPPNetFast RCNNFaster RCNN单步检测器YOLOSingle Shot MultiBox Detec...
2019-06-03 18:21:26
655
原创 《Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification》泛读笔记
文章目录引言本文方法引言ReID是计算机视觉中重要任务之一。面临的挑战是大尺度动作变化，光照变化，视角不同，背景干扰，不同目标也会相似等。目前，监督学习的ReID方法分为两种， representation learning and metric learning 。前者看作确认与识别问题verification or identification problem，确认指两个图片是否为同一目标，识...
2019-06-03 17:19:45
386
opencv-4.5.2-install.zip
2021-06-15
Region Proposal by Guided Anchoring论文介绍 PPT
2019-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人