- 博客(21)
- 收藏
- 关注
RSS订阅原创 informer 基本原理
Informer作者经过观察对于每一个Q来说，只有一小部分的K于其它关系较强，所以要找出有用的Q值。长序列很难预测准， 首先做预测，然后用预测的结果再去预测，非常困难。例如源码输出结果:32,8,96,25表示8头注意力,96个Q分别跟25个K计算的内积。在96个Q中,选出来差异最大的25个(根据序列长度来定的一个参数值)现在要选出来的是一些重要的Q,正常情况需每一个Q跟96个K计算。LSTM:在长序列预测中，如果序列越长，速度越慢，效果越差。得到的QK内积为:32,8,25,96,就是只选了25个Q。
2023-09-08 07:08:48
1644
原创 Vision Transformer 简单实现
NLP中的Transformer对词进行Embedding，Vision Transformer中将图像进行分块(Patch)，将每块进行展平(Flatten)，对Patch进行Embedding。序列var越大,那么经过softmax越容易偏向大值假设序列(feature)Q和K每一位都是iid,并且是random variable(std=1,mean=0)。在单个序列中使用不同位置的注意力用于实现该序列的表征方法 ------ 《Attention is All You need》
2023-09-06 10:41:30
362
1
原创 目标检测小数据集使用旋转（90度、180度、270度）进行图像增广
目标检测图像旋转是一种常见的数据增强方法，它可以增加训练数据的多样性，提高模型的泛化能力。
2023-09-03 15:59:01
766
1
原创 手写 非极大值抑制（NMS）
目标检测中的非极大值抑制（NMS）是一种用于去除重叠边界框的方法。具体来说，NMS通过计算每个边界框与其他所有边界框之间的交并比（IoU），来确定它们之间的相似度。然后，它会选择具有最高得分的边界框，并将其添加到最终结果中。接下来，NMS会删除与当前最高得分边界框具有高IoU的所有其他边界框。这个过程会一直重复，直到所有边界框都被处理完毕。
2023-08-31 06:55:45
1096
原创 目标检测加权框融合 WBF（Weighted Boxes Fusion）
WBF(Weighted Boxes Fusion)加权边界框融合算法解读，竞赛刷分必备。
2023-08-30 07:51:11
696
1
原创 2. onnx 模型部署进阶
TorchScript 是一种序列化和优化 PyTorch 模型的格式，在优化过程中，一个torch.nn.Module 模型会被转换成 TorchScript 的 torch.jit.ScriptModule 模型。现在，TorchScript 也被常当成一种中间表示使用。 torch.onnx.export 中需要的模型实际上是一个 torch.jit.ScriptModule。而要把普通 PyTorch 模型转一个这样的 TorchScript 模型，有跟踪（trace）和记录（
2023-08-13 08:56:46
739
1
原创 1. onnx 模型部署初探
对于深度学习模型来说，模型部署指让训练好的模型在特定环境中运行的过程。但是深度学习模型是依赖一些框架编写的，这些框架(PyTorch、TensorFlow)由于依赖环境的限制，无法在手机、开发板等生产环境中安装。同时深度学习模型需要大量的算力才能满足实时运行的需求。模型的运行效率需要优化。为了让模型最终能够部署到某一环境上，开发者们可以使用任意一种深度学习框架来定义网络结构，并通过训练确定网络中的参数。
2023-08-10 16:24:30
297
1
原创 2. pytorch数据加载DataLoader
PyTorch 数据加载实用程序的核心是 torch.utils.data.DataLoader 类。它表示数据集的 Python 可迭代对象, 支持1.map样式和iterable样式的数据集;map风格的数据集是实现__getitem__()和__len__()协议的数据集, 并表示从索引/键到数据样本的映射。2.自定义数据加载顺序;3.自动划分batch;4.单进程和多进程数据加载;5.自动内存固定。
2023-08-09 12:46:41
130
原创 1. pytorch数据加载Dataset
PyTorch提供了两个数据预处理API: torch.utils.data.DataLoader 和 torch.utils.data。Dataset允许自己使用预加载的数据集和你自己的数据。Dataset 存储了样本及其相应的标签, DataLoader 将 Dataset 的数据包装成 batch, 以便于访问样本。我们自己的 Dataset 类必须自己实现这三个函数: __init__, __len__和__getitem__。
2023-08-08 13:32:24
108
原创 Yolox标签匹配算法SimOTA原理及代码解释
1.确定正样本候选区域(使用中心先验)2.计算每个样本对每个真实框的Reg + Csloss(Loss aware)3.使用每个真实框的预测样本确定它需要分配到的正样本数(Dynamic k)获取与当前真实框的ciou前10的样本;将这Top10样本的ciou求和取整，就为当前真实框的dynamic k，dynamic k最小保证为10这个数字并不敏感，在5-15之间几乎都没有影响4.为每个真实框取loss最小的前dynamick个样本作为正样本。
2023-08-06 15:57:20
472
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人