- 博客(19)
- 收藏
- 关注
RSS订阅原创 学习总结，神经网络模型中的优化器入门，以及了解如何选择更合适的优化器
优化器作为神经网络中重要的组成模块之一，对模型的结果有着特别重要的影响，其的选择和调整一直非常重要。了解优化器，从而选择出更贴合自己的任务的优化器。
2023-02-13 08:02:00
870
原创 批大小（超参数，batch size），它的设置范围、大小为什么都是2的幂次？可以有所改变吗？
对有关超参数 batch size 的调整，进行相关记录，欢迎讨论。
2023-01-23 23:30:39
7047
原创 初始化问题，怎么进行初始化方法的选择
不正确、不恰当的初始化的权重会导致模型训练时，更容易出现梯度消失或梯度爆炸，从而对训练过程产生负面影响。梯度消失，使得权重更新很慢、很小，导致收敛速度变慢，最终使得损失函数的优化变慢，无法‘学习’东西，优化自己得到较优的结果，在最坏的情况下，可能会阻止网络完全收敛。相反，使用过大的权重进行初始化则可能会导致在前向传播或反向传播过程中梯度爆炸，根本无法学习‘真正有用’的知识和细节。
2022-12-18 17:54:16
330
原创 对于Transformer 模型----可以从哪些地方进行创新和改进
Vit，全称 Vision Transformer，是Transformer在CV方向的应用，是NLP与CV的相互联系、相互促进、相互影响。自Transformer应用进计算机视觉领域以来，与其相结合的新模型大都表现出了不错的效果。但是，这个过程仍然存在很多值得改进的空间，借鉴其它论文，看看他们是如何思考并改进的。论文：Vision Transformer with Progressive Sampling(ICCV2021)源码ViT采用的是一种直接明了的标记化(tokenization)方案，该方案
2022-12-05 13:58:02
5301
原创 如何高效阅读论文，养成良好的习惯（一））
对于现在火热的CV方向，各个方向都有很多总结性综述性的论文或文章或博客，并不需要自己一篇一篇地去找，相关文献非常多，而对于想要进入这个领域的我们来说，尽全力跟上大佬们的脚步，力求能够一篇一篇的将这些高质量的文献的内容消化，转化成自己的知识储备，是我们首先需要解决的难题。大量英文论文文献作为我们的第一战，我们，==一定不能一开始就依赖翻译软件！一定不能一开始就依赖翻译软件！一定不能一开始就依赖翻译软件！==刚进入这个学术的领域，我们要养成独属于自己的论文阅读的好习惯！
2022-11-30 18:34:21
117
原创 视觉识别算法的延伸思考 ---- 如何更好的加深对视觉识别算法的理解
视觉识别，是计算机视觉领域最重要的任务。虽然深度学习技术给这个领域带来了深远的影响，许多任务的SOTA相比于十年前也已经是突飞猛进，但就目前来看，还没有任何一套方法能够在一般意义上解决识别问题。当前算法的不足之处有很多，而学界较为公认的未来发展方向主要分为数据、模型、知识三大方面。其中，知识是一个相对模糊的概念，迄今学界还没有准确清晰的定义。而数据和模型，则构成了当前大部分视觉算法的主要困难。回顾过去一年，在视觉识别领域，有两类方法得到了广泛的重视。一个是自监督学习，尝试从数据的角度来提升算法的泛化性能。
2022-11-05 10:37:58
655
原创 详细理解（学习笔记） | DETR（整合了Transformer的目标检测框架） DETR入门解读以及Transformer的实操实现
DETR的学习以及Transformer实操DETR，全称 DEtection TRansformer，是Facebook提出的基于Transformer的端到端目标检测网络，发表于ECCV2020。链接链接DETR 端到端目标检测网络模型，是第一个将成功整合为检测pipline中心构建块的目标检测框架模型。基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的实现不利用anchor，且其与Faster RCNN相比，超越了后者。
2022-11-04 11:54:59
8479
7
原创 科研、学习上需要注意的问题总结（一）
无论是在学习、科研上，还是在生活中，总会遇到各种各样的问题。只要是在努力提升自己的路上行进，我们总会遇到前行的阻碍。但不能因为阻碍，因为困难，因为未知，就停下自己的完善提升的脚步。世界很美好，生活充满了美感，请记住，生活并不是简单的打卡式的，就让我们认真做事，努力成为那个喜欢的自己。对科研时一些常见问题的思考
2022-10-26 17:43:25
415
1
原创 计算机领域各大顶会顶刊集合梳理
每一个领域内，都有很多优秀的、认可度高的会议或者期刊。其他领域不太了解，但一般用SCI一区，二区等来区分论文质量。对于计算机领域而言，一般的分类方式是CCF评级，从A到C含金量依次降低。为了更好地关注计算机各个相关领域的最新技术、学术动态，今天梳理一下计算机领域内的顶会顶刊。会议会议论文指的是以被会议接受为目标而撰写的文章。会议每年一次或两次，展示方式有口头报告、海报展示或现场讨论。会议论文通常以文集的形式出版，称为“会议论文集”。（可由大学出版社、专业组织、知名出版商或网络出版。）期刊。
2022-10-21 16:45:20
10386
转载 视频目标检测与图像目标检测的区别
本文介绍了知乎上关于视频目标检测与图像目标检测的区别的几位大佬的回答。主要内容包括有视频目标检测与图像目标检测的区别、视频目标检测的研究进展、研究思路和方法。作者：Naiyan Wang、炸炸、亦辰编辑：CV技术指南声明：仅做学术分享，侵删本文转载自CV技术指南作者 ： Naiyan Wang https://www.zhihu.com/question/52185576/answer/155679253抽空来简答一下这个问题，恰好也是我们比较关注的一个方向。
2022-10-21 11:56:51
2192
转载 目标检测，YOLOV：Making Still Image Object Detectors Great at Video Object Detection. 图像对象检测器在视频对象检测方面的表现
与传统的两段pipline不同，论文提出了在一段检测之后再进行区域级的选择，避免了处理大量低质量的候选区域。此外，还构建了一个新的模块来评估目标帧与参考帧之间的关系，并指导聚合。作者进行了大量的实验来验证该方法的有效性，并揭示了其在有效性和效率方面优于其他最先进的VID方法。在ImageNet VID数据集上，采用单个2080Ti GPU，达到了超过30帧/秒的87.55% AP50。
2022-10-20 14:19:37
1204
原创 按需视觉识别文章阅读及延伸思考
在这个工作中，我们探索了一种走向完整的、无限细粒度的视觉识别的方法，即按需视觉识别方法。它的核心思想在于，不追求一次性地识别图像中的所有物体，而是在基本语义分割的基础上，（按照需求）交互式地处理 request，并且不断细化识别结果。这样做的最大好处，是增加了标注和识别的一致性和可扩展性，从而揭示了完整的、无限细粒度的视觉识别的可能性。在此，我也希望澄清几个可能的误解。按需视觉识别只是图文跨模态识别任务的一个变种。
2022-10-19 16:46:49
349
原创 深度学习回归任务要谨慎使用Dropout
由于回归问题输出是一个绝对值，对这种变化就很敏感，但是分类问题输出只是一个相对的logit，对这种变化就没那么敏感，因此，在回归问题上最好可以少用dropout（看情况），而在分类问题上可以用dropout。不过，根据上面的分析，其实dropout最好是不要加在网络的中间，在最后输出层前面加一般应该还是没问题的，不会有明显的性能损失，但也不会有提高，因此，回归任务要谨慎使用dropout。
2022-10-17 12:07:27
1470
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人