论文框架梳理-基于注意力机制优化小目标算法性能（学习笔记）

最新推荐文章于 2024-11-13 17:54:23 发布
最新推荐文章于 2024-11-13 17:54:23 发布
阅读量661 收藏 16
点赞数 13
分类专栏： 论文框架 文章标签： 算法 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TUOLONGcsdn/article/details/141566451
版权

个人博客地址：论文框架梳理（一）——基于注意力机制优化小目标算法性能

前言

  • 为什么要梳理论文架构？
    在进行期刊论文手稿撰写前，感觉无从下手，因此，打算分析借鉴一些高分文章的结构。逐步构建自己的论文框架。
  • 怎么梳理论文结构（计算机视觉领域）？
    一篇研究论文的写作通常围绕创新点展开。在提出创新点后，通过一系列图表来论证自己的创新点。因此，以图表为切入点对一篇文章进行分析或许是一个不错的选择。

选取论文模板

  • 确定论文的Aims and scope。
    筛选目标期刊
  • 从目标期刊中筛选出与自己论文主题相近的论文。
  • 分析论文结构，选取较为合适的论文作为自己论文写作的论文模板

论文结构梳理（e.g.）

论文：《Small-Object Sensitive Segmentation Using Across Feature Map Attention》。

  • 需求：由于卷积池化导致的小目标特征丢失，是的小目标检测分割困难
  • 创新点：提出了一种跨特征图注意力（AFMA）弥补小目标特征丢失。
  • 方法：在八种计算机视觉算法框架中插入该注意力机制，消融实验验证有效性。
    基于算法模块优化算法的通用论文结构归纳

图1：卷积运算实例

  • 章节：Introduction
  • Objective：可视化展示卷积造成的特征丢失现象，点出文章的研究背景，和该文章的研究动机。
    在这里插入图片描述

图2：方法概述

  • 章节：Introduction
  • Objective：介绍方法
    在这里插入图片描述

图3：方法框架

  • 章节：method
  • Objective：介绍夸特征注意力机制的实现原理和主要思想。
    在这里插入图片描述

图4：没看明白

在这里插入图片描述

表1：CamVid 测试数据集上小物体类别（左）与大物体类别（右）的比较结果

  • 章节：experiment
  • Objective：在CamVid 数据集下，对比不同框架在插入 AFMA 注意力机制前后的表现
  • 意义：采用method部分的方法得到的结果数据，用来验证本文方法的有效性（跨特征注意力机制对小目标检测性能的提升）
    在这里插入图片描述

表2：Cityscapes测试数据集上小物体类别的比较结果

  • 章节：experiment
  • Objective：在Cityscapes 数据集下，对比不同框架在插入 AFMA 注意力机制前后的表现
    在这里插入图片描述

图5：CamVid 测试数据集上的语义分割结果示例

  • 章节：experiment
  • Objective：在同一数据集上，可视化展示不同算法框架在添加AFMA注意力机制后，对小目标的分割性能。
    在这里插入图片描述

图6：AFMA在不同算法框架下，对不同类别的热力图可视化

  • 章节：experiment
  • Objective：在同一数据集上，可视化展示不同算法框架在添加AFMA注意力机制后，对小目标的分割性能。
    在这里插入图片描述

图7：据文章所说该图可以看出，AFMA具有从同类别大目标学习到特征，并且指导分割小目标的作用

在这里插入图片描述

表3：在同一框架不同深度下插入注意力机制，对比模型的性能表现

在这里插入图片描述

图8：不同深度特征图之间的 AFMA 图示

  • 章节：experiment
  • Objective：用来可视化不同深度的AFMA对影响
    在这里插入图片描述

图9：数据集下各个类别的不同尺寸分布图

  • 章节：experiment
  • Objective：利用该数据集，验证AFMA对小目标的效果，给下一步实验设计提供必要条件

在这里插入图片描述

图9：验证不同神经网络在插入AFMA前后，对不同大小目标检测性能的提升效果

  • 章节：experiment
  • Objective：根据数据集大小分布，设计实验

在这里插入图片描述

图10：负面案例说明

  • 章节：experiment
  • 实验设计：按检测类别分组，每组采用两个神经网络，对比注意力机制插入前后对分割效果的影响。
  • Objective：展示假阴性分割样本
  • 作图内容方法：用两个神经网络对不同类别分割效果的可视化，并且可视化展示假阴性分割结果
    在这里插入图片描述

图10：负面案例说明

  • 章节：experiment
  • Objective：展示假阳性分割样本
  • 作图内容方法：同上
    在这里插入图片描述

表5：模型参数量分析

  • 章节：experiment
  • 实验设计：分析不同神经网络模型，在添加注意力机制后的参数量变化
  • Objective：
  • 作图内容方法：
    在这里插入图片描述

图12：训练收敛图

  • 章节：experiment
  • Objective：
  • 作图内容方法：

方法论

基于机器学习和深度学习的新能源功率预测研究综述--学术论文模式--个人梳理
干吧滴！
12-13 3922
本文是博主根据前人的研究成果总结的机器学习和深度学习等理论方法在新能源功率预测领域的相关研究内容要点，按照学术科技论文写作的模式进行的呈现，包括文章引用等也都做了详细的批注，花了很多时间和心血，一方面是对自己学习成果的一些总结，另一方面也希望对大家有用（尽量不要直接copy哦，转载请标注，如有不当请评论或私信指出哦可再生能源的间歇性给新型电力系统的运行带来了巨大挑战，准确地预测新能源出力对于电网的安全可靠运行尤为重要。
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
07-08 1120
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
目标检测算法——YOLOV8——算法详解
TigerZ*的博客
01-31 7万+
本文梳理Yolo v8 的改进点，并针对一些较难理解的点进行重点阐述，主要有如下几方面：backbone 使用C2f模块，检测头使用了anchor-free + Decoupled-head，损失函数使用了分类BCE、回归CIOU + VFL（新增项目）的组合，框匹配策略由静态匹配改为了Task-Aligned Assigner匹配方式、最后 10 个 epoch 关闭 Mosaic 的操作、训练总 epoch 数从 300 提升到了 500。
BERT学习笔记(1)——self-attention
LiQZ的博客
08-18 638
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的self-attention课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。 目录1 self-attention的思想及框架2 self-attention工作流程3 Multi-head self-attension4 几个tricks5 参考 1 self-attention的思想及框架 .
循环注意力卷积神经网络——RA-CNN（论文笔记）
qq_43673118的博客
11-20 3292
目录前言本文拟解决的问题解决问题的方法 前言 本文是对论文**《Look Closer to See Better：Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition》**的学习梳理总结，主要参考文献为论文原文——《Spatial Transformer Networks》以及一篇博...
机器学习基础-树相关算法总结与梳理
qq_22247993的博客
03-01 2094
机器学习树模型相关算法总结与梳理
推荐系统CTR预估学习路线：引入注意力机制
炼丹笔记
02-17 944
推荐系统CTR预估学习路线：从LR到FM/FFM探索二阶特征的高效实现推荐系统CTR预估学习路线：利用树模型自动化特征工程推荐系统CTR预估学习路线：深度模型推荐系统CTR预估学习路线：引入注意力机制作者：Eric陈健锋 来源：炼丹笔记导语在广告、推荐系统CTR预估问题上，早期的完全规则方法被过渡到以LR为代表的机器学习方法，为了充分发挥组合特征的价值，在相当长一段时间里，业界热衷于使用LR+人工...
论文阅读--Planning-oriented Autonomous Driving（一）
hzlalb的博客
09-18 530
在UniAD框架中，使用了基于Transformer的解码器结构来处理感知和预测任务，利用注意力机制来捕捉实体间的不同交互。：文献中提出的一个全面的框架，它将所有驾驶任务集成在一个网络中，以规划为导向，优化各个模块以促进规划任务。：在运动预测中，为了处理上游模块的预测不确定性，采用了非线性平滑器来调整目标轨迹，使其在物理上可行。：在自动驾驶领域，多任务学习是一种常见的方法，它通过共享特征提取器来同时训练多个任务特定的模型。：在规划模块中，通过优化策略来避免与预测的占用区域发生碰撞，确保规划的安全性。
行为检测论文笔记【综述】基于深度学习的行为检测方法综述
CSPhD-winston的博客
12-25 5477
摘 要: 行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来，基于深度学习的方法在行为检测领域取得了巨大的进展，引起了国内外研究者的关注，对这些方法进行了全面的梳理和总结，介绍了行为检测任务的详细定义和面临的主要挑战; 从时序行为检测和时空行为检测 2 个方面对相关文献做了细致地分类，综合分析了每一类别中不同研究方法的思路和优缺点，并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法; 介绍了行为检测领域常用的数据集以及性能评估指标，在这些数据集上比较
基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换
AI天才研究院
06-28 539
随着大数据和人工智能技术的发展，数据分析和数据挖掘在各行各业中的应用越来越广泛。SQL（Structured Query Language）作为关系数据库的查询语言，是数据分析的重要工具。然而，SQL语言的复杂性和专业性使得许多非技术背景的用户难以直接使用，阻碍了数据的广泛利用。为了降低SQL的使用门槛，许多研究者和企业开始探索如何通过自然语言处理（NLP）技术，将自然语言转化为SQL查询语句，从而让用户可以通过自然语言与数据库进行交互。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 540
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
STL set
hls0611的博客
11-09 253
练习题：P1059 [NOIP2006 普及组] 明明的随机数。
0-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 85
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
点云配准之点到点，点到面，点到线ICP，NDT算法介绍
qq_54375651的博客
11-10 1462
点云配准在人工智能，自动驾驶，SLAM等任务中具有十分关键的作用，本文将介绍点云配准的点到点，点到线，点到面ICP和NDT算法
算法每日双题精讲——双指针（有效三角形的个数，和为s的俩个数）
A Charmer 的博客
11-09 1260
本文围绕算法中的双指针技巧，详细讲解了 “有效三角形的个数” 和 “和为 s 的俩个数” 两道题目。对于 “有效三角形的个数”，通过排序数组后利用双指针遍历统计满足条件的三元组；“和为 s 的俩个数” 则是先排序，再用双指针找到和为目标值的两个数的下标。文中给出了 C++ 代码实现，并分析了每道题的时间复杂度和空间复杂度，最后强调双指针算法在解决数组问题中的优势，鼓励读者在算法学习中掌握该技巧。
【数据结构】快排之三路划分
最新发布
2301_79633555的博客
11-13 214
在之前快排是排完序把key放在中间，左边比key值小，右边比key大，跟key相等的值在哪里并没有规定，跟key相等的值可以在左边，也可以在右边。因为假如cur没有遇见比key大的值，right没有--，那么cur与right在相同位置时，并不能确定right所指向的值是否小于key。但是，有些场景下hoae和lomuto（前后指针法）还是适应的不是很好，就是当数组中有大量重复数据时，该场景下性能是有些退化的。cur指向的值与left位置的值进行交换，然后left++，cur++核心思想是把数组中的数据。
AI 写作（三）文本生成算法：创新与突破（3/10）
小相探索IT世界
11-08 1834
本文深入探讨了 AI 写作中的多种文本生成算法。首先介绍了生成式与判别式模型的区别与特点，包括优化准则、对观察序列的处理、训练复杂度以及支持的训练方式等方面的差异，并对比了它们在 AI 写作中的优缺点。接着详细阐述了长短期记忆网络（LSTM）在文本生成中的应用，包括技术原理与结构、实现步骤与流程以及应用示例与效果。还深入分析了 Transformer 与自注意力机制，介绍了其模型架构与组成、自注意力机制的作用以及在 AI 写作中的重要作用。
以太坊系地址衍生算法分层确定性生成逻辑
J_Lee
11-12 211
以太坊系地址衍生算法分层确定性生成逻辑
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值