- 博客(6)
- 收藏
- 关注
原创 【实验笔记】Kaggle房价预测经验总结
1.自己写的时候优化器用的是SGD,损失函数用的是均方误差,没有使用log_rmse,训练模型100个epoch,进行lr学习率调参,结果误差就一直过大,稍微将学习率调大一点loss就变成了nan,不知道哪里出了问题。但使用Adam优化器和log_rmse作为损失后,loss就变得正常。2.在def train()函数中有一个语句,之前写的是,运行的时候一直报错:这是因为函数内部对变量赋值进行修改后,该变量就会被Python解释器认为是局部变量而非全局变量。
2023-10-08 21:19:26
548
1
原创 【论文笔记】Swin Transformer
Swin Transformer是一种用来做图像预测任务的一种网络结构,它使用了NLP领域火爆的框架Transformer,在Transformer的结构上进行改进,通过一系列实验证明了Transformer结构也可以很好的用于视觉领域,与ViT不同的是:虽然ViT也使用了Transformer结构来处理视觉领域的任务,但在ViT的文章里,作者只说明了它可以用于分类任务;
2023-08-30 21:45:51
163
1
原创 【论文笔记】Video Vision Transformer(ViViT)
ViViT是一个视频分类模型,基于ViT模型进行了一些改进。ViT只用于2D图像的分类识别,视频与图像的区别是,视频引入了时间维度,因此ViViT模型在识别视频的时候也引入了时间维度,提出了tublet embedding来划分patches;3D滤波器的另一种生成方式;引入了时间维度的4种变体Attention模型,在各个数据集上的精确度都表现优秀:改进点:1.提出了一种"Tubelet embedding "方法划分patches。
2023-08-30 15:05:30
2586
1
原创 【论文笔记】TimeSformer
Attention (T+S)注意力机制,先计算只有time变量的时间自注意力分数,再计算只有space变量的空间自注意力分数。TimeSformer是一种用于处理视频分类的模型,它在ViT模型的基础上提出了Divided Space-Time。代码:: https://github.com/facebookresearch/TimeSformer.该论文提出的这种方式相比于原ViT模型,速度更快,精度更高,推理成本更低。1.输入片段:F个RGB帧组成的片段作为输入。2.拆分patches:每一帧分成。
2023-08-17 21:14:32
600
原创 VideoMAE模型复现(Linux)
VideoMAE是一个大模型,作者在里面用到了deepspeed分布式训练模块,我的pytorch是1.13.0+cuda11.7版,运行代码时报错说:No module named ’torch._six‘,原因是高版本的pytorch中没有_six模块;看了github上的运行环境,支持1.8.0和1.6.0版本的pytorch。
2023-08-07 11:03:58
1301
11
原创 论文研读:ICCV2023_CV视频基础模型
一.简介二.中文解读地址:https://zhuanlan.zhihu.com/p/618221217?utm_id=0三.原文地址:[2303.16058] Unmasked Teacher: Towards Training-Efficient Video Foundation Models (arxiv.org)四.已公开的部分代码:https://github.com/OpenGVLab/unmasked_teacher五.研读笔记
2023-07-18 11:52:49
136
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人