- 博客(27)
- 收藏
- 关注
RSS订阅原创 GitHub上高标星开源智能体框架汇总！最高33K+！
简介：OpenAgents是一个开放平台，专注于日常使用和托管语言智能体，它为非专家用户提供了通过Web界面与智能体交互的便利，为开发人员提供了本地部署的选项，并且支持多种类型的智能体，包括基于规则的智能体和基于机器学习的智能体。它还提供了丰富的工具和接口，方便开发者定制和扩展智能体的功能和行为。今天就给大家汇总一下GitHub上热门的智能体框架，最高的星标有33K+，还整理了对应的论文，不管你是希望寻找一个适合自己项目的智能体框架，还是想了解最新的智能体技术趋势，都可以看看！
2024-02-04 13:44:22
1112
原创 时空数据挖掘新思路！25篇顶会论文汇总，含2024最新！
在科技飞速发展的今天，我们正处在一个大数据无处不在的时代，在这个时代背景下，时空数据变得尤为重要，它不仅记录了事物的位置和时间变化，还揭示了地理实体间的复杂联系和动态模式。为了充分挖掘这些数据的潜在价值，时空数据挖掘技术随之兴起，这里就汇总了25篇时空数据挖掘领域顶会论文，涵盖了多个热门研究方向，一起看看这个领域最新研究成果吧！
2024-02-02 13:42:54
1802
原创 结合创新！11种多尺度特征融合方法，附论文和代码
DilateFormer-Base在ImageNet上达到85.6%的前1准确率，在COCO任务上分别达到53.5%的盒式mAP和46.1%的掩码mAP，在ADE20 K语义分割上达到51.1%的MS mIoU。本文提出了CDDFuse网络，这是一个新的多模态特征融合方法。随着深度学习和计算机视觉技术的快速发展，多尺度特征融合已经成为一个备受关注的、不断探索的研究方向，它通过捕捉不同尺度和层次上的特征信息，提高对图像和视频内容的理解能力，为图像处理、计算机视觉和深度学习等领域的应用提供了坚实的基础。
2024-02-01 13:44:41
6736
原创 14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
2024-01-31 16:40:22
2746
原创 多模态融合新方向！21篇2024年最新顶会论文汇总！（附PDF）
为应对这一问题，研究人员提出了一种新算法，旨在减少多模态数据集中的表征和关联偏见，分析考虑了模型、表征和训练数据大小等因素，并发现微调对抗表征偏见有效，但对关联偏见影响有限。本文提出了一种创新的标签对齐方法LAMM，通过端到端训练动态调整下游数据集的类别嵌入，并采用分层损失，包括参数空间、特征空间和对数空间的对齐，以改善标签分布。本文提出了一种集成视觉语言模型CLIP的多任务学习框架，该模型具有强大的零样本泛化能力，并开发了多模态对齐提示（MmAP），研究人员在微调过程中对齐文本和视觉模态。
2024-01-30 11:55:05
2770
原创 ICLR‘2024时间序列论文汇总！预测、分析、分类等方向的最新进展
与基于 Transformer 和 MLP 的模型相比，ModernTCN 提供了更好的效率和性能平衡，并展示了更大的有效感受野，从而更好地利用了卷积在时间序列分析中的潜力。本文提出了一种新的可解释稀疏系统识别方法，用于时间序列预测，它结合了基于知识和数据驱动的方法，利用傅里叶基处理时间序列数据，并通过稀疏优化实现高精度预测。为解决此问题，本文提出了一种无源无监督的对齐方法，利用学习到的动态重用预训练的生成模型，避免从头训练，并在模拟中验证了该方法对运动皮层神经记录的对准效果。
2024-01-29 13:36:33
2155
原创 23年量化交易热门论文汇总，看量化交易的最新研究进展！
L2GMOM是一个高度可解释的神经网络，其架构由算法展开衍生而来，该模型非常灵活，可以使用不同的损失函数进行训练，以实现投资组合的表现目标，如负夏普比率。本文提出了用于金融领域的开源大型语言模型FinGPT，它采用数据为中心的方法，提供可访问和透明的资源，帮助研究人员和从业者开发金融领域的语言模型。近年来，量化交易也成了热门话题，吸引众多投资者和研究人员的关注，学术界和业界对量化交易的研究不断深入，成果和技术突破层出不穷。在金融市场中，传统的交易方式因人的主观判断和经验限制，难以保证持续的稳定性和高效性。
2024-01-26 11:52:58
1602
原创 AAAI 2024优秀论文汇总！包含图神经网络、多模态、时间序列等热门方向
本文提出了一种用于弱监督视频异常检测的新方法VadCLIP，它利用冻结的CLIP模型，无需预训练和微调。本文提出了NeuNet，一个结合神经元形态和拓扑信息的框架，它由骨架编码器、连接组编码器和读出层组成，骨架编码器通过一维卷积处理神经骨架点数据，连接组编码器使用图神经网络捕获神经回路拓扑信息，读出层融合上述信息并输出分类结果。通过利用图子基的线性组合，有效地近似了图的生成模式，从而提高了模型在迁移学习实验中的性能，与现有算法相比，G-Tuning在域内和域外迁移学习实验中分别平均改进0.5%和2.6%。
2024-01-25 12:29:03
1580
1
原创 精选11篇顶会论文，深度学习时间序列预测模型汇总！（含2024最新）
iTransformer在具有挑战性的真实数据集上实现了最先进的技术，增强了Transformer系列的性能、泛化能力以及对任意回溯窗口的利用，使其成为时间序列预测的基本支柱。本文提出了一种新的时间序列预测方法FEDformer，结合了Transformer和季节性趋势分解，以捕捉时间序列的全局趋势和细节结构。简述：本文提出了多层次解释神经网络（MLCNN），一种新的多任务深度学习框架，该模型结合了卷积神经网络和改进的编码器-解码器架构，通过融合不同时间点的预测信息来提升预测性能。
2024-01-24 14:51:05
4162
3
原创 9款最新文生图模型汇总！含华为、谷歌、Stability AI等大厂创新模型（附论文和代码）
本文提出了Imagen，一款新型的文本到图像扩散模型，实现了极高的真实感和深度语言理解。本文提出了DreamBooth，一种个性化文生图模型，它通过微调预训练的文生图模型，如Imagen，将一个独特的标识符与某个物体绑定，这样模型就可以在含有该标识符的prompt下，在不同场景中生成包含该物体的新颖图片。本文提出了SDXL Turbo，它在 SDXL 1.0 的基础上进行迭代，并为文本到图像模型实现了一种新的蒸馏技术：对抗扩散蒸馏（ADD），能够高效地从大规模基础图像扩散模型中采样，同时保持高质量图像。
2024-01-23 18:00:54
3330
1
原创 10篇深度学习时间序列预测综述汇总！含金融、医疗、气象等领域应用！
研究人员总结了这些方法的关键研究成果，并讨论了它们各自存在的问题，还提供了对单一预测方法的评估，总结了相关工作的关键信息，并探讨了未来的改进方向和研究局限性。为了帮助大家深入理解深度学习时间序列预测，这里整理了10篇深度学习在时间序列预测领域的综述论文，这些综述不仅涵盖了深度学习在时间序列预测方面的最新进展，还深入探讨了其在金融、医疗、气象等领域的应用，一起看看吧！特别关注了基于Transformer的模型，并讨论了深度学习在时间序列预测中的问题和挑战，展望了未来的研究趋势。
2024-01-22 18:30:37
1486
原创 AAAI‘2024时间序列论文汇总！预测、分类、异常检测和因果发现的最新进展
本文提出了一种新型自监督框架TimesURL，通过特殊的频率-时间增强方法和双重Universums负对来优化对比学习，并结合时间重构以捕获丰富的时间序列信息，TimesURL能够学习高质量的通用表示，并在6种不同的下游任务中取得了最先进的性能，包括短期和长期预测、插值、分类、异常检测和迁移学习。本文强调了无监督时间序列异常检测中新正常问题的普遍性，为了解决这个问题，本文中提出了一种简单而有效的测试时间适应策略，结合趋势估计和自监督方法，在推理过程中学习新正常性。
2024-01-19 18:27:34
1470
1
原创 想要学习大语言模型？这些开源模型带你轻松入门！（附论文和代码）
TransformerXL就像是Transformer的加强版，专门为了处理那些长篇大论的文本而设计的，它会把把文本切成一段段的，然后让这些段落之间能记住彼此的信息，还有一种特别的方式来理解单词之间的位置关系。它训练了好几种语言，用了大量的文本数据，参数有高达1760亿个！一种预训练语言模型方法，这个模型用了一种特别的办法，叫做广义回归预测，这样它就能像我们人类一样，在理解文本的时候既看前面的内容，也看后面的内容，还借鉴了Transformer-XL模型的思路，所以它处理双向文本信息的能力超强。
2024-01-19 14:27:29
583
1
原创 ICLR 2024录用率31%！精选10篇高分论文分享！（附PDF）
本文指出视觉Transformer（ViT）在有监督和自监督学习中出现的一些问题，特别是在图像的低信息区域产生的伪像，并提出了一种简单方法，通过添加额外令牌到输入序列来解决这些问题。本文中，研究人员利用基于分数的生成模型（SGM）的特定结构来解决一系列中间的线性逆问题，这些问题随着噪声水平的降低逐渐接近原始逆问题的目标后验。研究人员使用顺序蒙特卡洛（SMC）方法从这些后验序列中采样，提出的MCGDiff算法在理论上得到了证明，并在处理病态的贝叶斯逆问题时的数值模拟中展现了优于竞争基线的效果。
2024-01-18 18:13:06
870
1
原创 涨点神器！11种开源即插即用模块汇总！（附论文和代码）
通过分析影响性能的关键因素，引入了一个简单而有效的映射函数和一个高效的等级恢复模块，以增强self-attention的表达性，同时保持较低的计算复杂度。在此基础上，研究人员构建了SENet架构，其具有出色的通用性，SE块对于现有的先进深度架构来说，可以在极小的额外计算成本下提供重大的性能改进。那么，如何在确保质量的前提下，更高效地写论文呢？这就得提到即插即用的模块了，它就像是一盒乐高，让我们能快速组合各种设计好的模块，搭建出我们需要的模型，这样做不仅让建模速度提升，还保证了模型的创新性和有效性。
2024-01-18 14:49:27
1438
1
原创 如何把大模型和小模型相结合？这几种策略可以实现！（附相关论文）
简述：本文提出通过将模型集合中的知识提炼到单个模型中，可以显著改进大量使用的商业系统的声学模型，并引入了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类别。这就是大模型小模型相结合的几种策略，结合大模型和小模型的目的是要在资源消耗和模型性能之间寻找一个平衡点，大模型提供了丰富的信息和先进的特征表示，而小模型则使得模型部署在资源有限的环境中成为可能。使用教师模型的输出来训练学生模型，不是简单地使用标签信息，而是使学生模型的输出尽可能接近教师模型的输出。
2024-01-17 17:58:06
2430
原创 提升和创新！10款最新创新混合专家模型（MoE）汇总！（附论文）
简述：本文提出了Mixtral 8x7B，这是一种稀疏专家混合 （SMoE） 语言模型，在数学、代码生成和多语言基准测试方面远远优于 Llama 2 70B，并提供了一个经过微调以遵循指令的模型 Mixtral 8x7B - Instruct，它在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - 聊天模型。简述：本文提出了Soft MoE，一种可微分的稀疏变换器，解决了传统MoE的挑战，同时保持其优势。
2024-01-17 12:17:41
1063
原创 Transformer热门魔改方案汇总！大大提升模型速度与效果！
随着序列长度的增加，Transformer中注意力机制的计算量会持续上升，导致计算代价较高。不过为了解决这个问题，业内也出现了许多针对Transformer的魔改，这里给大家整理了Transformer魔改的方案论文，大家可以学习一下。Longformer：长文档转换器本文中提出了Longformer，一种具有线性扩展注意力机制的模型，能够高效处理超长序列，它将局部窗口注意力与全局注意力相结合，可作为标准自注意力的替代。
2024-01-16 17:40:07
1289
1
原创 顶会新方向！14篇图神经网络（GNN）最新顶会论文汇总！（含2024）
研究人员开发了两个关键模块：局部子结构编码（LSE）和帧转换编码（FTE），用于设计表现力强、高效的几何GNN，并基于这些模块构建了LEFTNet，在分子性质预测任务上获得了领先的性能，同时为等变GNN的未来设计提供了方向。本文分析了GNN对抗性扰动的影响，包括节点特征和图结构的干扰，并研究了它们与不同稳定性概念的关系。图神经网络（GNN）是深度学习领域中备受关注的前沿课题，它在处理图结构数据方面展现出了强大的潜力，随着研究的不断深入，越来越多的优秀论文在顶级学术会议上涌现。
2024-01-16 11:32:05
2560
1
原创 15篇CV方向多模态融合优质paper汇总！
实验表明，CDDFuse在红外-可见光图像融合、医学图像融合等任务上表现出色，并能提高语义分割和目标检测的性能。本文提出了跳跃交叉网络SkipcrossNets，一种灵活融合激光雷达点云与摄像机图像的架构，它通过层与层之间的前馈连接，实现了特征的增强传播和融合，有助于选择两个数据流中最匹配的特征层，并简化了网络复杂性。本文提供了时序数据的多模态自监督学习全面综述，包括：1）分类现有SSRL方法，2） 定义SSRL框架的关键组件，3）对比模型的目标函数、架构和应用，4）综述不同类别和模态的多模态技术。
2024-01-15 17:59:38
952
原创 小模型大能量！10款高性能小模型，媲美大型模型！
本文提出了Mixtral 8x7B，这是一种稀疏专家混合 （SMoE） 语言模型，在数学、代码生成和多语言基准测试方面远远优于 Llama 2 70B，并提供了一个经过微调以遵循指令的模型 Mixtral 8x7B - Instruct，它在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - 聊天模型。这些小模型的出现，不仅为研究和应用带来了更多的可能性，也让我们重新审视模型大小与性能之间的关系。Zephyr：LM取向的直接蒸馏。
2024-01-15 11:31:11
593
原创 如何解决大模型的「幻觉」问题？克服大模型幻觉策略汇总！
本文对LLM幻觉领域的最新进展进行全面而深入的概述，从LLM幻觉的创新分类法开始，然后深入研究导致幻觉的因素，并且对幻觉检测方法和基准进行了全面概述。不过随着模型规模的增大，一个不容忽视的问题也逐渐浮现出来——幻觉问题，就是指模型在处理数据时产生的错误认知或偏差，这些问题可能会导致预测结果的偏差或误判。本文调查了近期在检测、解释和缓解幻觉方面的努力，重点介绍了LLMs所特有的挑战，并提出了LLM幻觉现象和评估基准的分类，分析了缓解LLM幻觉的现有方法，最后还讨论了未来研究的潜在方向。
2024-01-12 15:27:35
1237
1
原创 AAAI‘2024时间序列论文汇总！预测、分类、异常检测和因果发现的最新进展
在数据科学领域，时间序列分析一直是研究的热点和难点。随着大数据时代的到来，时间序列数据在各个领域的应用越来越广泛，如金融、气象、健康等。因此，对时间序列的研究具有重要的理论和实践意义。今天就将AAAI'2024会议收录的时间序列论文进行了汇总，涵盖预测、分类、异常检测与因果发现多个方向，大家可以看一看该领域的研究进展和最新成果。1、MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Seri
2024-01-12 09:51:22
1593
1
原创 10篇多模态融合优秀论文汇总，看最新研究成果！
简述：本文提出了一种多模态、模态不可知的融合变换器方法，该方法学会在多个模态之间交换信息，如视频、音频和文本，并将它们整合到一个联合的多模态表示中，以获得一个汇聚多模态时序信息的嵌入。简述：在本文中，从文献角度审视了现有基于多种模式的自主驱动的认知任务方法，详细分析了50多份文件，利用包括LIDAR和照相机在内的感知传感器试图解决物体探测和语义分解任务，不同于传统的对聚合模型进行分类的聚合方法，文中提出了一种创新方法，将它们分为两大类和四个小类，从聚化阶段来看，以更合理的分类法划分为四个小类。
2024-01-09 18:11:52
1923
原创 大模型LLM微调方法paper汇总！
本文对高效LLMs研究的发展进行了系统而全面的回顾，并将文献整理成由三个主要类别组成的分类法，从模型中心、数据中心和框架中心的角度涵盖了不同但相互关联的高效LLMs主题，并且从以模型为中心和以数据为中心的角度，回顾了LLMs的算法层面和系统层面的高效技术。本文分析了训练数据因素对对话模型性能的影响，包括数量、质量和语言分布，文中使用1000个样本评估集评估了各种模型，涵盖9个真实场景，目的是通过定量分析提供有价值的见解，推进开源聊天模型的发展，并且还扩展了LLaMA的词汇表，进行了二次预训练。
2024-01-08 17:46:43
1051
原创 金融科技创新中人工智能的应用：8篇优质论文精选（含2023）
随着科技的飞速发展，金融领域正经历着前所未有的变革。在这个过程中，人工智能技术发挥着越来越重要的作用。为了深入探讨金融人工智能的研究和应用，享享特地整理了几篇金融人工智能方面的论文，大家可以看一下金融人工智能方向最新的研究成果！面向金融领域的大型语言模型本文介绍了BloombergGPT，一个基于广泛金融数据训练的500亿参数模型。基于彭博（Bloomberg）广泛数据来源，建立了一个基于彭博数据的3630亿令牌数据集，并结合了额外3450亿通用数据令牌。
2024-01-05 10:11:20
1332
原创 NeurIPS2023 大语言模型(LLM)方向优质论文汇总！
实验表明，Parsel显著提升了LLM在分层推理任务如程序合成和机器人规划的表现，成功率在APPS数据集上提高75%，在HumanEval上pass@1性能从67%增至85%，同时提高了机器人规划的准确率。本文中提出了一种新的奖励模型参数化方法，简化了强化学习从人类反馈（RLHF）问题的标准解决方案，把这种算法称为直接偏好优化（DPO），它稳定、高效，计算需求低，简化了微调过程。研究人员微调了1000多个模型，结果表明，使用小型数据集的QLORA微调可获得最佳结果，即使使用较小的模型。
2024-01-04 18:32:42
1497
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人