- 博客(46)
- 收藏
- 关注
RSS订阅原创 模型融合创新性Max！5种模型融合方法刷新SOTA！发顶会必看！
如图所示，需要构建一个48等的目标模型时候，可以分别从两个32层的模型取前24层和后24层连接到一起，组成一个全新的48层的模型，将组合后的模型进行继续预训练即可，通常继续预训练耗费的的数据量和计算资源要小于完全从头开始训练的消耗。然后，从原始模型中移除最后的m层，并从其副本中移除最初的m层，从而形成两个不同的n-m层模型。与机器学习中的嫁接学习不同的是，大模型并不直接融合另外一个模型的概率结果，而是将其中的部分结构和权重嫁接到融合模型上，并经过一定的继续预训练过程，使其模型参数能够适应新的模型。
2024-09-23 17:30:00
273
原创 顶会创新点速递！强化学习+注意力机制，发文香饽饽！
强化学习结合注意力机制的研究在学术界和工业界都引起了广泛关注，因为它能显著提升模型处理复杂任务的效率和准确性，迅速成为了各大顶会的投稿热门。设计了两个注意力神经网络，一个用于预测地图的更新，另一个用于选择下一个探索点，两者协同工作以提高探索的效率和准确性。将注意力机制引入强化学习框架中，使机器人能够学习地图中不同区域之间的依赖性，并预测潜在收益，从而实现非短视的探索。通过一系列实验，包括在单模态和多模态数据集上的测试，验证了FRAMU在遗忘过时、私有和无关数据方面的性能。
2024-09-23 10:31:31
348
原创 故障诊断直接开挂！超多论文发表方向！轻轻松松拿捏创新点！
EverAdapt不仅保留了以前领域的统计信息，还能有效适应新场景。为了提高零故障标签模型转移的有效性，构建了一种新型联合领域对齐，旨在最小化源标签分布与目标分类结果分布之间的距离，这与传统的伪标签方法显著不同，因为后者并未全面利用目标领域的信息。随着现代工业的不断发展，传统的故障诊断技术已经很难满足生产需要，而深度学习以其强大的特征提取能力和在模式识别上的独特优势，为解决这类工业需求提供了一种可能。通过在真实数据集上的实验，展示了该方法的优越性，显著改善了最先进的方法，并有效缓解了遗忘问题。
2024-09-21 16:00:00
314
原创 直接开挂！“GNN+时序预测”组合，轻松发表高质量论文！
然而，之前的研究通常将这些关系分开处理，忽视了数据中更复杂的交互，这可能会降低预测的准确性。提出了一种创新的方法，通过计算时间序列数据中的相似度矩阵并转换为图结构，以便GNN模型能够捕获数据中的时间相关性和复杂关系。在时序预测领域，通过合理构建和应用图结构，GNN能有效捕捉时空数据中的复杂依赖关系，轻松提高预测的准确性。文章从互信息的角度重新审视时间序列数据中的关系，提出了基于互信息的分析框架，以捕捉复杂的多元关系。本文探讨了GNN图分类模型在时间序列数据分析中的潜力，提出了一种新颖的方法论应用。
2024-09-21 14:30:00
784
原创 Nature动向！凝聚态领域研究分享！
La(3)Ni(2)O(7-δ)的晶胞由两层NiO(2)面组成，而氧原子占据三个不等价的位置：外部顶点位(位于NiO(2)面外侧)、平面位(位于NiO(2)面内)、内部顶点位(位于两层NiO(2)面之间)，如图1a所示。2023年，中山大学王猛研究组发现双层镍氧化物单晶La(3)Ni(2)O(7)(-δ)在高压下具有高达80K的超导转变温度(Nature 621, 493 (2023))。这也意味着在与La(3)Ni(2)O(7)相关的有效模型中，有必要考虑来自这两个位置的O-2p轨道的贡献。
2024-09-21 14:00:00
714
原创 新鲜顶会创新点！KAN全家桶系列！
KANs作为一种创新的神经网络架构，基于Kolmogorov-Arnold表示定理，通过将线性权重替换为基于样条的自适应单变量函数，使得网络能够动态学习和优化激活模式。本文介绍了一种新颖的Kolmogorov-Arnold Networks（KANs）在时间序列预测中的应用，重点展示了其通过自适应激活函数增强预测模型性能的独特优势。1.KANs利用样条函数作为激活函数，能够根据时间序列数据的动态特性自适应地调整激活模式，这与传统的固定激活函数相比，可以更精确地捕捉时间序列中的复杂模式和变化。
2024-09-21 11:30:00
675
原创 无敌了！LSTM+CNN简直太高性能了！论文创新点来了！值得收藏！
为每个语音分类构建了一个混淆矩阵，包括没有迁移学习和有迁移学习的原始波形模型，并将其与Wav2vec 2.0和滤波器组系统的语音混淆模式进行了比较。3.本次原始波形声学模型由参数（Sinc2Net）或非参数cnn和双向lstm组成，在TIMIT Dev/测试集上实现了到13.7%/15.2%的PERs，优于先前文献中报道的原始波形模型的PERs。最终，结合1D-CNN、ResNet和BiLSTM的模型在未见过的测试数据集上实现了最低的CER，达到了82.94%的字符准确率。
2024-09-21 09:00:00
275
原创 迁移学习+多模态融合，小白轻松发一区！创新性拉满！
与之前的研究相比，AdaRank的独特优势在于保持了预训练和适应阶段的完整性，无需额外的目标或正则化，这可能会影响适应的准确性和性能。论文提出了一种新的医学图像分类的迁移学习方法，通过结合预训练的PubMedCLIP模型和多模态特征融合，提出了一个多模态学习框架，通过将图片和文本输入进行特征融合，提高了图像分类的准确性，并降低了标注成本。值得注意的是，LLaVA-OneVision的设计支持不同模态和场景之间的强转移学习，展现出新兴的能力，尤其是在图像到视频的任务转移中，表现出强大的视频理解和跨场景能力。
2024-09-20 19:00:00
384
原创 掌握顶会流量密码！“Mamba+CNN”双热点组合！轻松找到创新点！
LKM-UNet特别针对2D和3D医疗图像分割任务设计，通过在大规模状态空间模型（SSM）中引入大型核，显著提高了模型的感受野，从而能够捕获更丰富的全局和局部特征信息。U-Mamba结合了卷积神经网络（CNN）和状态空间序列模型（SSM）的优势，构建了一个混合架构，能够高效地捕获图像的局部精细特征和长距离上下文信息。LKM-UNet采用大型核Mamba块（LM块），通过分配大型窗口（或核）给SSM层，实现了大的感受野，从而增强了模型的空间建模能力。本文提出了一种新的医疗图像分割模型——
2024-09-20 18:00:00
315
原创 特征融合魔改，看这一篇就够了
本文提出了一种迭代表示细化方法，称为渐进融合，该方法缓解了后期融合表示的问题，并引入了反向连接，使后期融合表示可用于早期层，从而提高了这些阶段的表示表达能力，同时保留了后期融合设计的优点。1）借鉴了过去的大多数多模态方法要么通过将不同模式的特征投影到同一空间来工作，要么通过使用约束来协调每种模式的表示两种观点，提出了一种新的多模态融合方法。2）为了学习更全面的表示，并避免对多个伪标签的模糊学习，我们设计了一个可学习的融合模块(FM)，该模块专注于全局特征中的细粒度局部信息。
2024-09-20 14:00:00
1448
原创 YOLO-World检测一切！一次性讲清YOLO全家桶
此外，介绍了整体效率-精度驱动的模型设计策略，包括轻量级分类头、空间通道解耦下采样和大内核卷积等，从效率和准确率两个角度全面优化 YOLO 的各个组件，大大降低了计算开销，提高了模型的性能。是腾讯团队提出的一种超级轻量级开放词汇检测方法，模型基于实现文本编码与解码的Clip结构模型和实现图像特征提取支持对象检测的Ultralytics YOLOv8模型构建，可根据提示与描述性文本实现检测图像中的任何物体，大幅降低计算要求，同时具有杰出的性能指标。由于篇幅有限，这里只展示部分内容，其余内容均包含在资料中，
2024-09-20 10:00:00
452
原创 2024 屡发屡中的论文方向：时空预测！
是一种专门处理具有时间和空间属性的数据的分析技术，随技术发展，用于解决复杂的时空问题的新预测方法和模型不断涌现。1）本工作提出了贝叶斯神经场(BavesNF)，这是一种通用的统计模型，用于推断时空域上的丰富概率分布，可用于包括预测、插值和变差在内的数据分析任务。2）为了准确复制车辆之间的交互作用，提出了一种新的加权邻接矩阵，该矩阵由车辆的战略位置（角度编码）和交通场景中车辆之间的距离倒数推导得出。3）证明了所提出的转换与变分目标精确解之间的误差是上界有界的，并研究了其性质，进一步证明了时态图的实际有效性。
2024-09-20 09:00:00
472
原创 荣登Nature！【AI+医学】成2024大热门
接下来，我们选择了一个名为YOLOv5 的非常高效的模型，在医学口罩、正确佩戴口罩的人脸数据集(PWMFD)上进行训练，并分析了特定优化技术(迁移学习、数据增强和 Squeeze-and-Excitation 注意力机制)在实时医学口罩检测方面的优势。预测任务是名义型的还是数值型的？2）利用研究结果，提出了一种基于YOLov5s的优化模型，使用迁移学习来检测正确和错误佩戴的医用口罩，在PWMFD数据集上比最先进的模型SE-YOLOv3快两倍多(每秒69帧)，同时保持相同的平均精度水平(67%)。
2024-08-08 10:28:40
525
原创 医学图像分割，Transformer+UNet的14种融合方法
在此框架内，Cross Transformer 模块采用可扩展采样来计算两种模态之间的结构关系，从而重塑一种模态的结构信息，以与 Swin Transformer 同一局部窗口内两种模态的相应结构保持一致。在编码器中，输入的MRI扫描X∈RC×H×W×D，具有C个通道(模态)，H×W的空间分辨率和D个深度维度(切片)，首先通过基于3D CNN的编码器生成局部特征图，捕获空间和深度信息。的融合方式，恰恰能充分发挥Transformer和UNet在医学图像分割方面的优势，弥补各自不足，产生显著的效果。
2024-08-07 10:32:47
1102
原创 实现分割自动化！基于SAM的医学图像分割又双叒叕有新突破
该半监督分割框架使用均值教师框架，主要由两个组件组成：主要分支与分割网络输入原始图像并生成主要分割输出(即学生模型的均值教师输出)，以及一致性分支，将扰动引入到输入图像或网络条件(即学生模型到均值教师的指数移动平均(EMA))，以生成额外的分割输出(即均值教师的输出)。4）自动化和提示基础的分割：SAM模型支持全自动和基于提示的分割，ProtoSAM利用这一点，通过设计适当的提示来实现对医学图像的单次分割。2）进一步引入了 MedSAM，这是一种改进的基础模型，它显著提高了SAM在医学图像上的分割性能。
2024-08-06 10:49:35
589
原创 AI融合新突破：CNN与Transformer的强强联合！
同时，Transformer和CNN 被用作两个分支的编码器以捕获局部和全局特征。1）提出了ParaTransCNN网络，一个U形的医学图像分割架构，融合的CNN和Transformer组成的并行编码器。3）提出了一种新的融合模块，它将来自两个分支的信息进行组合和聚合，以获得最终的深度估计的全面表示，同时应用通道和空间注意来增强我们两个分支网络的表示能力。2）开发了一种有效的特征融合机制，名为相关加权融合（cwF），以协同整合由CNN和Transformer学习的局部和全局上下文特征，有效提高准确度。
2024-08-05 10:29:29
669
原创 Mamba+Transformer完美融合，效果炸裂！
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题,研究者们提出了——，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。为帮助同学们获取灵感，我整理了5种今年最新的Mamba结合创新方案，希望能给各位的学术研究提供一些帮助。
2024-08-02 12:18:10
1001
原创 无监督/框架/小样本，工业异常检测最新思路！
此外，大量的实验证明了提出方法的优越性，例如，研究团队在没有额外训练数据的MVTec AD数据集上实现了新的SOTA 98.3检测AUROC，相较于没有额外训练数据的基于重构方法获得了+18.3↑提升，同时相较于SOTA方法获得了+0.3↑提升。SimpleNet由四个部分组成：(1)生成局部特征的预训练特征提取器，(2)将局部特征转移到目标域的浅特征适配器，(3)通过向正常特征添加高斯噪声来伪造异常特征的简单异常特征生成器，以及(4)区分异常特征和正常特征的二进制异常鉴别器。论文的方法基于三个直觉。
2024-08-01 10:37:38
1307
原创 顶会常客，全面盘点多模态融合算法及应用场景
方法：DiffMM 的总体框架主要分为三个部分：①多模态图扩散模型，它通过生成扩散模型来实现多模态信息引导的模态感知用户-物品图的生成。1. 数据上：提供了全新的目前世界上最大规模的医疗多模态数据集 MedMD&RadMD，是首个包含 3D 数据的大规模医疗多模态数据集，含 15.5M 2D 图像和 180k 的 3D 医疗影像。1. 设计了一种新颖的动态特征增强的Mamba图像融合模型，这是第一种改进的状态空间模型用于图像融合，为基于CNN和Transformers的方法提供了一种简单而有效的替代方案。
2024-07-31 10:16:51
917
原创 强登Nature！物理信息神经网络（PINN）一夜爆火
虽然这些约束可以通过损失函数的惩罚来软化地引入，但最近在可微分物理学和优化方面的进展通过将偏微分方程约束优化作为神经网络中的单独层，进一步提升了性能，从而实现了对物理约束更严格的遵循。特别地，这种发现方法无缝地整合了深度神经网络的优势，用于丰富的表示学习、物理嵌入、自动微分和稀疏回归，以近似系统变量的解、计算必要的导数，以及识别形成方程结构和显式表达的关键导数项和参数。这种方法的功效和鲁棒性在不同数据稀缺性和噪声水平下的各种偏微分方程系统的发现中进行了数值和实验上的证明，考虑到不同的初始/边界条件。
2024-07-30 10:18:44
1228
原创 液态神经网络到底是什么？
此外，LNNs对输入信号中的噪声和干扰也表现出更强的鲁棒性。其架构设计灵感来源于微小线虫C. elegans，通过模拟这种线虫神经系统中相互连接的电信号，预测网络随时间的行为，并准确表达系统在任何给定时刻的状态。2. 引入了连续时间-连续深度（CfC）神经网络模型，CfC 模型最大的优点也是灵活性，可用于需要长期洞察数据的任务。1. 提出了线性状态空间模型 (SSM) 的状态转移矩阵的适当参数化以及标准非线性使它们能够有效地从序列数据中学习表示，从而在一系列广泛的远程序列建模基准上建立最先进的技术。
2024-07-26 10:38:14
1410
原创 特征融合经典魔改方法+最新应用案例大汇总！
特征融合(Feature Fusion) 是一种通过整合来自多个不同源的特征，提升模型性能的机器学习重要技术。它能够提高分类准确率，增强模型鲁棒性，减少过拟合风险，因此在提高模型的性能和泛化能力上效果显著。
2024-07-24 10:59:02
427
原创 2025必将是时序的天下！
结合时频分析和时间序列分析，可以提供更全面的视角来理解和预测数据的动态行为，这对于需要深入洞察时间相关性的领域尤其重要。
2024-07-19 14:29:52
439
原创 动态卷积赢麻了！计算量减少40％，荣登论文神器！
速度与精度的结合，动态卷积计算量减少40％，随着研究的不断进展，动态卷积有望在更多的领域和应用中展现出其潜力。为了帮助大家进一步探索更全面的动态卷积，我整理了10种动态卷积创新思路，包含SpectralMamba、异构动态卷积网络图像超分辨率等，希望能给各位的学术研究提供一些帮助。
2024-07-17 11:08:24
357
原创 LSTM + Transformer 结合，模型性能效果炸裂
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
2024-07-15 10:07:52
1225
原创 ICML2024时序最新研究论文合集！
ICML作为年度机器学习国际顶级会议及中国计算机学会推荐A类会议，为来自世界各地最杰出的人工智能专家和研究者提供交流平台，共同探讨前沿的深度学习和强化学习领域的最新进展。本次会议投稿量再创新高达到9473篇，最终录用2609篇，录用率27.5%。沃恩智慧为大家精心整理了一份ICLR 2024 有关时间序列领域的最新研究成果的论文，总共62篇，已全部下载好：
2024-07-12 10:23:13
1065
原创 CVPR2024最佳论文出炉！历年CVPR最佳论文盘点（2000 年—2024 年）
cvpr2024最佳论文出炉，本次论文可谓是万里挑一。作为计算机视觉领域的顶级学术会议CVPR，每年评选出的一篇或多篇最佳论文，不仅为计算机视觉领域的顶级学术荣誉，更代表了将对未来技术或行业发展产生重要影响的里程碑式研究成果。为了帮助大家对这批计算机领域的重要论文进行复习，沃恩智慧为大家精心整理了一份从2000 年—2024 年的 CVPR 最佳论文盘点。
2024-07-11 14:58:21
2255
原创 2025计算机视觉领域顶会新方向！
作为计算机视觉领域的顶级学术会议CVPR，每年评选出的一篇或多篇最佳论文，不仅为计算机视觉领域的顶级学术荣誉，更代表了将对未来技术或行业发展产生重要影响的里程碑式研究成果。今年的CVPR最佳论文近乎“万里挑一”。CVPR 2024 今年一有效投稿 11532 篇，接收 2719篇。根据最新公示的组委会安排，今年的 Oral 部分有 24 篇将有资格角逐今年的最佳论文。为了帮助大家对这批计算机领域的重要论文进行复习，沃恩智慧整理了2024 年的 CVPR24篇入选最佳论文，这些论文也都下载好了。
2024-07-10 11:43:10
1775
原创 Mamba杀入ECCV 2024！最新成果让视频理解更加高效
（注：此图作为概念性表示。本文提出的MoE-Mamba充分利用了前两种架构的兼容性，例如，在原有Mamba结构的基础上仿照MoE-Transformer将两个mamba块中的其中一个替换成一个可选择的MoE块。3. 在广泛的实验证明中，U-Mamba在处理3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割等多个生物医学图像分割任务上，均显示出优于当前基于CNN和Transformer的最先进的分割网络的性能，尤其是在处理外观异质性强的物体时，UMamba产生的分割异常值更少，表现更为稳健。
2024-07-05 15:28:00
770
原创 Meta一分钟文本转3D模型炸场，3D生成荣登AI新顶流！
3D生成无疑是AI新风向，本文整理了40篇 3D生成最新前言成果展示，并简单提炼了可参考的新方法/创新点，希望能给大家带来新的idea。
2024-07-04 11:27:52
709
原创 免费送书|python从入门到进阶必读书单
这本书介绍了Python应用在各个领域中的一些使用技巧和方法，其主题涵盖了数据结构和算法，字符串和文本，数字、日期和时间，迭代器和生成器，文件和I/O，数据编码与处理，函数，类与对象，元编程，模块和包，网络和Web编程，并发，实用脚本和系统管理，测试、调试以及异常，C语言扩展等。今天给大家推荐一些Python方向的经典好书，这几本书可以说经过无数读者的鉴定，一经面世就获得极大反响，无论从内容大纲的设置上，还是知识点的讲解上，对于python各个阶段的学习者，它们都是极佳的。此外，Python拥有。
2023-03-30 15:08:10
223
1原创 详解三维重建学习路径
近几年来，人工智能领域出现过很多热门的话题，有些热度持续很长时间，有些如同昙花一现，而随着机器人、自动驾驶、AR等技术的飞速发展，这些领域涌现了大量独角兽公司，开发出大量以3D感知、融合定位、重建、测距等多个应用场景的产品。三维重建这个名词也再次变得火热起来。
2023-02-23 21:04:40
111
原创 导师放养也能投顶会？我从零开始、历经3次拒稿、最终发CVPR顶会论文的全过程分享！
你想发顶会论文，或者做科研，但是导师放养，不管你，没有人带你，应该怎么办？要怎么起步？我会分3个版块，告诉你如何解决这个问题。1、科研的全流程是什么样？第一块，大家首先要对科研有一个整体的认知。科研的整个流程是什么样的？你首先需要选定一个研究问题，也就是选题；然后第二步是调研这个问题下现有的解决方案，第三步开始基于他们的方案，你要想你自己的idea，有了idea之后，你还要做实验去验证，去充分地验证它，证明你的idea是有效的，足够出众的；有了这一步之后，再下一步就是写作，写作就是把你的idea、实验结果、
2023-01-04 17:14:12
3691
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人