进阶中的程序员吃吃的博客

刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。为了训练过程中保存更多有用信息，除了保存模型权重外还会保存优化器等信息。若使用时不再需要其他信息，可以载入模型后重新保存权重（仅模型权重）

对3DGS原文进行翻译，以及部分理解。

简要介绍NeRF和instant-NGP。

本文提出了TensoRF，一种建模和重建辐射场的新方法。不同于NeRF中纯粹使用了MLP，本文将场景的辐射场用4D张量表示，代表了一个3D体素网格，每个体素具有多通道特征。中心思想是将4D场景张量分解成多个紧凑的低秩张量分量。在本文框架中应用传统的CP分解（将张量分解成具有紧凑的秩一向量）可以带来对普通NeRF的改进。为了进一步提高性能，本文引入一种新的向量矩阵分解（VM分解），它放宽了张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。

度量学习问题（也成为极端分类问题）通常指一种情况，我们有成千上万个实体的ID，但是每个实体只有很少的样本。通通常我们假设在测试阶段将处理未见过的实体，这使得直接应用基本分类流程变得不可能。在很多情况下，获得的embedding被用于执行搜索或匹配任务。以下是CV中一些此类任务的例子：个人/动物重识别，人脸识别，地标识别，在线商店的搜索引擎等等。

本文旨在记录阅读本书过程中遇到的在以往学习和使用中忽略的知识点，也包括一些需要加强记忆的重点。此外，原书中主要基于深度学习框架mxnet，但官方网站和对应代码中也提供了pytorch对应的版本，本文主要基于pytorch对应部分进行汇总和整理。（持续更新中）

本文旨在减少 Detection Transformer 类目标检测器对标注数据的依赖程度，提高其数据效率。

以前学习过一些pytorch教程，平时也会应用到，但发现技术文档才是最好最系统最全面的教材，现在从头学习梳理一遍，本文记录一下平时记不住的内容。

无监督图像表示（Unsupervised image representation）显著地缩小了和有监督预训练的差距，特别是对比学习方法的最新成果。这些对比学习方法通常在线工作，依赖于大量显式的成对特征比较，计算量比较大。本文提出的在线算法SwAV不需要成对比较，它比较不同 view 下的聚类结果（clustering assignment）而不是直接对比特征。具体来说，SwAV 对数据进行聚类的同时，加强对同一图像的不同增强(或“视图”)产生的聚类结果之间的一致性，而不是像对比学习中那样直接比较特征。..

选择性搜索是用于目标检测的区域提议算法，它计算速度快，具有很高的召回率，基于颜色，纹理，大小和形状兼容计算相似区域的分层分组。

写文章的时候呢要跟读者建立联系；也就是说，选题已经保证了读者会来读我们的文章，接下来的任务是要让读者信我们写的东西，包括我们对一个问题提出了一个新看法，要让大家认同这个看法；写作的核心是要在脑海中预测和读者的对话，使得在跟人真的对话之前把所有的这种可能性——别人攻击你的地方，以及缺失的理由、论点、论据全部补充起来，这样子就能写出别人相信的故事了。还有一点，不一定需要读者也认同我们的方法是最好的，更多是读者在读了文章以后，跟着一起去探索解决了一个重要问题，读者关心怎样去解决它，并在阅读过程中也进行思考。...

1. 怎样找到要研究的问题2. 想清楚自己研究问题的重要性是什么

深度学习取得的成果不仅是强大模型的功能，更是因为有海量的优质数据做支撑。但当训练可用的数据很差、存在各种各样的问题时该怎么办？本讲座介绍了几种不完美的数据情形，例如联邦学习、长尾学习、噪声标签学习、持续学习等，并介绍如何使深度学习方法应对这些情形，依然保持强大。..................

Facebook AI 提出了 DETR，利用 Transformer 去做目标检测，该方法去除了许多目标检测中的人工设计组件，同时展现了非常好的性能。但是，DETR 存在收敛速度慢和特征分辨率有限等缺陷。为了解决这些问题，来自商汤研究院等机构的研究者提出了可变形 DETR，其注意力模块仅关注于参考点附近的一小部分采样点作为注意力模块中的 key 元素。可变形 DETR 可以在比 DETR 少 9/10 的训练轮数下，达到更好的性能（尤其是在小物体上）。在 COCO 基准上的大量实验表明了该方法的有效性。.

BM3D概述BM3D（Block-matching and 3D filtering）通过相似判定找到与参考块相近的二维图像块，并将相似块按照组合成三维群组，对三维群组进行协同滤波处理，再将处理结果聚合到原图像块的位置。该算法的思量和NL-Means优点类似，也是在图像中寻找相似块的方法进行滤波，但是相对于NL-Means要复杂很多。算法步骤总体可以分成两步：步骤1：基础估计。按块估计。对于带噪声图像中的每一个块，做以下的操作：分组 。找到和当前处理的块相似的所有块，并堆叠成一个三维数组

参考链接：论文地址GitHub地址题目End-to-End Object Detection with Transformers摘要将目标检测任务转化成序列预测任务，使用transformer编码器-解码器结构和双边匹配的方法，由输入图像直接预测得到预测结果序列。和SOTA的检测方法不同，没有proposal（Faster R-CNN），没有anchor（YOLO），没有center（CenterNet），也没有NMS，直接预测检测框和类别，利用二分图匹配的算法，将CNN和transfo.

目录AbstractIntroductionRelated workMethodResultAN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALEAbstract本文证明了图像对CNN的依赖不是必要的，将纯transformer直接用于图像patch序列可以很好地执行图像分类任务。当对大量图像进行预训练并转移到多个中型或小型的图像识别基准数据库（ImageNet、CIFAR-100、VTAB等）时，和最先进

OpenCV中的阈值处理包括三种：简单阈值处理自适应阈值处理otsu阈值处理