- 博客(401)
- 资源 (25)
- 收藏
- 关注
RSS订阅原创 多Agent协作工具CrewAI使用指南——工具使用
默认情况下，该工具使用 OpenAI 进行嵌入和摘要生成。llm=dict(provider="ollama", # 或 google, openai, anthropic, llama2, ...# top_p=1,),),),),默认情况下，该工具同时使用 OpenAI 进行嵌入和摘要生成。llm=dict(provider="ollama", # 或 google, openai, anthropic, llama2, ...# top_p=1,),),),),
2024-04-24 22:56:51
661
原创 多Agent协作工具CrewAI使用指南——如何做How-To
为了通过缓存优化工具性能，可以使用属性定义自定义缓存策略。@tool("带缓存的工具")"""工具功能描述。"""return "可缓存的结果"# 定义自定义缓存逻辑return True if 某些条件 else False通过遵循这些准则，并将新功能和协作工具纳入工具创建和管理流程中，您可以充分利用 crewAI 框架的全部功能，提升开发体验和 AI 代理的效率。CrewAI 提供了一个灵活的框架，以结构化方式执行任务，支持顺序和分层流程。
2024-04-24 16:45:43
402
原创 多Agent协作工具CrewAI使用指南——核心概念
代理Agent是一个自主单元，被编程用于：执行任务执行任务做出决策与其他代理进行通信将代理看作团队的一员，具有特定的技能和特定的工作任务。代理可以担任不同的角色，如“研究员”、“作家”或“客户支持”，每个角色都为团队的整体目标做出贡献。在 crewAI 框架中，任务是由代理完成的具体任务。它们提供执行所需的所有必要细节，如描述、负责代理、所需工具等，有助于促进各种行动复杂性。crewAI 中的任务可以是协作的，需要多个代理共同工作。
2024-04-24 16:29:20
1180
原创 通用时间序列预测变压器的统一训练 Unified Training of Universal Time Series Forecasting Transformers
传统上，用于时间序列预测的深度学习在一个数据集对应一个模型的框架内运行，限制了其利用大型预训练模型带来的颠覆性影响的潜力。通用预测的概念源自于在大量时间序列数据集上进行预训练，设想了一个能够处理多样化下游预测任务的单一大型时间序列模型。然而，构建这样一个模型面临着特定于时间序列数据的独特挑战：i）跨频率学习，ii）适应多变量时间序列的任意数量，以及iii）解决大规模数据固有的不同分布特性。
2024-04-24 14:38:37
744
原创 推荐AI智能代理：将大型语言模型整合到交互式推荐系统中
推荐模型以利用大量用户行为数据为基础，擅长提供特定领域的物品推荐。尽管它们可以作为轻量级领域专家，但在提供解释和参与对话等多样化任务方面仍然面临困难。另一方面，大型语言模型（LLMs）代表了人工通用智能的重要进展，在指导理解、常识推理和人类交互方面展示了显著的能力。然而，LLMs缺乏领域特定物品目录和行为模式的知识，特别是在与在线电子商务等与一般世界知识有所偏差的领域。为每个领域微调LLMs既不经济又不高效。在本文中，我们将推荐模型和LLMs联系起来，结合它们各自的优势，创建了一个多功能的交互式推荐系统。
2024-04-24 14:37:44
715
原创 大型多模态智能体：一项调查 Large Multimodal Agents: A Survey
大型语言模型（LLMs）在推动基于文本的人工智能智能体方面取得了卓越表现，赋予它们类似于人类的决策和推理能力。与此同时，出现了一种新兴的研究趋势，专注于将这些由LLM驱动的人工智能智能体扩展到多模态领域。这种扩展使得人工智能智能体能够解释和回应各种多模态用户查询，从而处理更加复杂和微妙的任务。在本文中，我们对由LLM驱动的多模态智能体进行了系统性审查，我们将其称为大型多模态智能体（简称LMAs）。首先，我们介绍了开发LMAs所涉及的基本组件，并将当前的研究内容分类为四种不同类型。
2024-04-24 13:49:47
635
原创 通过领域特定的微调和迭代推理增强问答：一项比较研究
目前，预训练的大型语言模型（LLMs）在解决绝大多数自然语言处理任务方面处于领先地位。虽然许多实际应用仍需要微调才能达到令人满意的性能水平，但其中许多处于低数据范畴，这使得微调具有挑战性。为了解决这一问题，我们提出了LLM2LLM，这是一种有针对性和迭代的数据增强策略，利用一种教师LLM通过增加额外数据来增强一个小型种子数据集，以便用于特定任务的微调。
2024-04-24 13:49:07
911
原创 AgentKit: 用图而不是编码进行流程工程 AgentKit: Flow Engineering with Graphs, not Coding
目前，预训练的大型语言模型（LLMs）在解决绝大多数自然语言处理任务方面处于领先地位。虽然许多实际应用仍需要微调才能达到令人满意的性能水平，但其中许多处于低数据范畴，这使得微调具有挑战性。为了解决这一问题，我们提出了LLM2LLM，这是一种有针对性和迭代的数据增强策略，利用一种教师LLM通过增加额外数据来增强一个小型种子数据集，以便用于特定任务的微调。
2024-04-24 13:48:02
818
原创 LLM2LLM：利用新颖的迭代数据增强提升LLMs性能 LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement
目前，预训练的大型语言模型（LLMs）在解决绝大多数自然语言处理任务方面处于领先地位。虽然许多实际应用仍需要微调才能达到令人满意的性能水平，但其中许多处于低数据范畴，这使得微调具有挑战性。为了解决这一问题，我们提出了LLM2LLM，这是一种有针对性和迭代的数据增强策略，利用一种教师LLM通过增加额外数据来增强一个小型种子数据集，以便用于特定任务的微调。
2024-04-17 11:52:23
838
原创 处理缺失数据的全面回顾：探索特殊的缺失机制
缺失数据在数据科学中构成重要挑战，影响决策过程和结果。了解缺失数据的概念、发生原因以及为何适当处理缺失数据至关重要，尤其是在处理实际数据时，尤其是在表格数据中，这是现实世界中最常用的数据类型之一。文献中定义了三种缺失机制：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR），每种机制在插补中都提出了独特的挑战。大多数现有工作都集中在相对容易处理的MCAR上。MNAR和MAR的特殊缺失机制较少被探讨和理解。本文回顾了处理缺失值的现有文献。
2024-04-17 11:51:38
711
原创 Mini-Gemini：挖掘多模态视觉语言模型的潜力Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models
在这项工作中，我们介绍了Mini-Gemini，这是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs）。尽管VLMs在促进基本视觉对话和推理方面取得了进展，但与像GPT-4和Gemini这样的先进模型相比，仍存在性能差距。我们试图通过从三个方面挖掘VLMs的潜力来缩小这一差距，即高分辨率视觉标记，高质量数据和VLM引导生成。为了增强视觉标记，我们提出利用额外的视觉编码器进行高分辨率细化，而不增加视觉标记数量。
2024-04-17 11:49:53
1098
原创 ODA：基于观察驱动的智能体，用于集成LLMs和知识图谱 ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs
在各种自然语言处理任务中，大型语言模型（LLMs）和知识图谱（KGs）的集成取得了显著成功。然而，现有的集成LLMs和KGs的方法往往仅基于LLM对问题的分析来导航任务解决过程，忽视了KGs中蕴含的丰富认知潜力。为了解决这一问题，我们引入了基于观察驱动的智能体（ODA），这是一个专为涉及KGs的任务量身定制的AI智能体框架。ODA通过全局观察融入KG推理能力，通过观察、行动和反思的循环范式增强推理能力。面对观察过程中知识的指数级增长，我们创新性地设计了一个递归观察机制。
2024-04-16 13:55:57
752
原创 UniTS：构建统一的时间序列模型 UniTS: Building a Unified Time Series Model
基础模型，尤其是LLMs，正在深度学习领域发生深刻变革。我们可以通过少量提示或微调，将单个预训练模型适应于许多任务，而不是训练许多特定任务的模型。然而，当前的基础模型适用于序列数据，而不适用于时间序列，后者由于固有的多样性和多领域时间序列数据集、在预测、分类和其他类型任务之间存在差异的任务规范，以及对任务专用模型的明显需求，因此具有独特挑战。我们开发了UNITS，这是一个统一的时间序列模型，支持通用任务规范，适用于分类、预测、填补和异常检测任务。
2024-04-16 13:55:15
1037
原创 改进基于 RAG 的金融文件问答模型的检索效果
大型语言模型（LLMs）生成准确响应的有效性在很大程度上取决于提供的输入质量，特别是在采用检索增强生成（RAG）技术时。RAG通过获取最相关的文本片段来增强LLMs，以此为查询提供基础。尽管近年来LLMs在响应质量方面取得了显著进展，用户仍可能遇到不准确或无关的答案；这些问题通常源于RAG对文本片段的检索不佳，而非LLMs固有的能力。为了增强LLMs的效力，关键在于完善RAG过程。本文探讨了RAG流程的现有限制，并介绍了增强文本检索的方法。
2024-04-14 20:43:24
735
原创 语言模型中合成数据的最佳实践和经验教训
人工智能模型的成功取决于大规模、多样化和高质量的数据集的可用性，由于数据稀缺、隐私问题和高成本，获取这些数据集可能具有挑战性。合成数据作为一种生成模仿真实世界模式的人工数据的方法已经成为一个有前途的解决方案。本文概述了合成数据研究的应用、挑战和未来方向。
2024-04-14 20:42:32
521
原创 RecurrentGemma：超越Transformer的高效开放语言模型
论文名称：RecurrentGemma: Moving Past Transformers for Efficient Open Language Models论文链接：https://arxiv.org/pdf/2404.07839。
2024-04-14 20:41:41
627
原创 探索视觉语言模型的前沿：对当前方法和未来方向的调查
大型语言模型（LLMs）的出现显著改变了人工智能革命的轨迹。然而，这些LLMs表现出一个显著的局限，即它们主要擅长处理文本信息。为了解决这一限制，研究人员努力将视觉能力与LLMs整合，从而催生了视觉语言模型（VLMs）的出现。这些先进模型在处理更复杂的任务，如图像字幕和视觉问题回答方面发挥着重要作用。在我们的综合调查论文中，我们深入探讨了视觉语言模型领域的关键进展。我们将VLMs分为三个不同类别：专注于视觉语言理解的模型，处理多模输入以生成单模（文本）输出的模型，以及既接受又产生多模输入和输出的模型。
2024-04-14 20:41:06
581
原创 语言模型透明度工具：交互式工具用于分析Transformer语言模型
我们提出了LM透明度工具（LM-TT），这是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部运作。与先前专注于决策过程中孤立部分的现有工具不同，我们的框架旨在使整个预测过程透明化，并允许从顶层表示追溯模型行为到模型的非常细粒度的部分。具体来说，它（i）展示了整个输入到输出信息流的重要部分，（ii）允许将模型块所做的任何更改归因于单独的注意力头和前馈神经元，（iii）允许解释这些头部或神经元的功能。这个流程的一个关键部分是显示每个步骤中特定模型组件的重要性。
2024-04-14 20:40:00
586
原创 MiniCPM: 揭示小型语言模型的潜力与可扩展的训练策略
对开发具有高达万亿参数的大型语言模型（LLMs）日益增长的兴趣引发了对资源效率和实际成本的担忧，尤其是考虑到实验的巨大成本。这种情况突显了探索小型语言模型（SLMs）潜力作为资源高效替代方案的重要性。在这种背景下，我们介绍了MiniCPM，特别是1.2B和2.4B非嵌入参数变体，在各自的类别中表现出色，同时展示了与7B-13B LLMs相媲美的能力。在专注于SLMs的同时，我们的方法在未来LLM研究中展现了模型和数据维度的可扩展性。在模型扩展方面，我们进行了大量模型风洞实验，以实现稳定和最佳的扩展。
2024-04-14 20:38:08
729
原创 本地上百个大模型便携部署调用工具 Ollama 使用指南
Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，使用FROM指令指定要导入的模型的本地文件路径。创建模型运行模型可以使用提示来自定义 Ollama 模型。例如，要自定义llama2创建一个Modelfile# 设置温度为 1 [值越高越有创造性，值越低越连贯]# 设置系统消息SYSTEM """""">>> hiHello!更多示例，请参考examples目录。有关使用 Modelfile 的更多信息，请参考Modelfile文档。
2024-04-14 08:27:57
4737
8
原创 现代推荐系统使用生成模型综述 （Gen-RecSys） A Review of Modern Recommender Systems Using Generative Models (Gen-RecS
传统的推荐系统（RS）通常使用用户-物品评分历史作为主要数据来源，协同过滤是其中的主要方法之一。然而，生成模型最近已经发展出能够对复杂数据分布进行建模和采样的能力，这些数据分布不仅包括用户-物品互动历史，还包括文本、图像和视频，为新颖的推荐任务解锁了这些丰富的数据。通过这份全面的跨学科调查，我们旨在连接使用生成模型（Gen-RecSys）的RS的关键进展，包括：交互驱动生成模型的基础概述；使用大型语言模型（LLM）进行生成推荐、检索和对话推荐的应用；以及整合多模态模型来处理和生成RS中的图像和视频内容。
2024-04-12 13:06:15
696
原创 探究大型语言模型对推荐系统的影响综述 Exploring the Impact of Large Language Models on Recommender Systems: An Exten
本文强调了大型语言模型（LLMs）在重塑推荐系统中的重要性，将它们的价值归因于传统推荐系统所缺乏的独特推理能力。与缺乏直接用户交互数据的传统系统不同，LLMs在推荐物品方面表现出色，展示了它们在理解语言复杂性方面的熟练能力。这标志着推荐领域的根本性转变。在充满活力的研究领域中，研究人员积极利用LLMs的语言理解和生成能力来重新定义推荐任务的基础。该研究全面探讨了LLMs在推荐框架中固有优势，包括细致的语境理解、跨不同领域的无缝过渡、采用统一方法、利用共享数据储备的整体学习策略、透明的决策制定以及迭代改进。
2024-04-12 13:04:45
736
原创 时间序列预训练模型 Chronos：学习时间序列的语言 Chronos: Learning the Language of Time Series
我们介绍了Chronos，这是一个简单而有效的预训练概率时间序列模型框架。Chronos使用缩放和量化将时间序列值标记为固定词汇，并通过交叉熵损失训练现有的基于Transformer的语言模型架构。我们在大量公开可用数据集上预训练了基于T5系列（参数范围从20M到710M）的Chronos模型，同时通过高斯过程生成了一个合成数据集，以提高泛化能力。在包含42个数据集的全面基准测试中，涵盖了传统的本地模型和深度学习方法，我们展示了Chronos模型：（a）在训练语料库中的数据集上明显优于其他方法；
2024-04-12 13:03:15
1041
原创 Sora作为AGI世界模型？关于文本到视频生成的完整调查
文本到视频生成标志着生成式人工智能领域的一个重要前沿，整合了文本到图像合成、视频字幕和文本引导编辑方面的进展。本调查对文本到视频技术的发展进行了批判性审视，重点关注从传统生成模型到尖端Sora模型的转变，突出了在可扩展性和泛化性方面的发展。我们的分析与先前的研究有所不同，深入探讨了这些模型的技术框架和演进路径。此外，我们深入探讨了实际应用，并解决了伦理和技术挑战，例如无法执行多实体处理、理解因果关系学习、理解物理交互、感知物体缩放和比例以及对抗物体幻觉，这也是生成模型中长期存在的问题。
2024-04-12 11:05:53
962
原创 大语言模型在视频理解中的应用综述 Video Understanding with Large Language Models: A Survey
随着在线视频平台的蓬勃发展和视频内容的不断增加，对熟练的视频理解工具的需求显著增加。鉴于大语言模型（LLMs）在语言和多模态任务中的卓越能力，本综述详细介绍了利用LLMs（Vid-LLMs）的视频理解最新进展。Vid-LLMs的新兴能力令人惊讶，尤其是它们在开放式时空推理与常识知识相结合方面的能力，为未来的视频理解提供了有希望的路径。我们对Vid-LLMs的独特特点和能力进行了分类，分为四种主要类型：基于LLM的视频代理、Vid-LLMs预训练、Vid-LLMs指导微调和混合方法。
2024-04-10 18:39:45
548
原创 大语言模型Agent综述 通过大型语言模型探索自主代理综述 Exploring Autonomous Agents through the Lens of Large Language Models
从古至今，自动化的追求一直是人类努力的恒定目标，受到对提高生产力和效率的渴望的驱动。自主代理的起源根植于早期对能够在物理世界中有意识行动的自主系统的概念化[2]。这一范式在从认知科学到经济学的一系列领域中找到了应用。自主代理的发展取得了显著进展，大型语言模型（LLMs）的出现标志着我们追求模拟人类认知的人工智能的一个关键时刻[1]。自动化对社会的涟漪效应是深远的。它催生了新颖的工作方法论的出现，并重塑了社会结构。然而，必须承认“自动化鸿沟”的存在。
2024-04-10 18:38:51
323
原创 为推荐系统设计的多智能体协作框架 Multi-Agent Collaboration Framework for Recommender Systems
基于LLM的智能体因其决策能力和处理复杂任务的能力而备受关注。鉴于目前在推荐系统中利用智能体协作能力的空白，我们引入了MACRec，这是一个旨在通过多智能体协作增强推荐系统的新颖框架。与现有关于使用智能体进行用户/物品模拟的工作不同，我们旨在部署多智能体直接处理推荐任务。在我们的框架中，推荐任务通过各种专业智能体的协作努力来解决，包括经理用户/物品分析员反射器搜索器和任务解释器，具有不同的工作流程。
2024-04-10 18:00:05
948
原创 InsightLens: 从大语言模型驱动的数据分析中发现和探索见解
大语言模型（LLMs）的普及彻底改变了自然语言界面（NLIs）在数据分析中的能力。LLMs可以执行多步骤和复杂推理，根据用户的分析意图生成数据见解。然而，这些见解通常与分析对话中的丰富背景（如代码、可视化和自然语言解释）纠缠在一起。这妨碍了在当前基于聊天的LLMs界面中高效地识别、验证和解释见解。本文首先与八位经验丰富的数据分析师进行形成性研究，以了解他们在LLM驱动的数据分析过程中的一般工作流程和痛点。然后，我们提出了一个基于LLM的多智能体框架，用于在分析过程中自动提取、关联和组织见解。
2024-04-09 13:27:44
868
原创 最新语言大模型综述 Large Language Models A Survey
自2022年11月ChatGPT发布以来，大型语言模型（LLMs）因在各种自然语言任务上表现出色而受到广泛关注。LLMs通过在大量文本数据上训练数十亿个模型参数获得了通用语言理解和生成能力，这符合缩放定律的预测。LLMs的研究领域虽然非常新颖，但在许多不同方面迅速发展。本文回顾了一些最著名的LLMs，包括三个流行的LLM系列（GPT、LLaMA、PaLM），并讨论它们的特点、贡献和局限性。我们还概述了用于构建和增强LLMs的技术。
2024-04-09 13:26:11
1139
原创 交易流水分类 基于cograph编辑的网络聚类在发票分类中的应用 User-generated short-text classification using cograph editing-bas
在线业务平台的快速发展在各个领域创造了大量与产品或服务描述、评论、营销、开发发票和记账相关的用户生成文本数据。这些数据通常长度较短，含有噪声（例如拼写错误、缩写），并且没有准确的分类标签（行项目类别）。对这些用户生成的短文本数据进行适当的行项目分类对于相应平台理解用户需求至关重要。本文提出了一个基于确定的行项目类别进行用户生成短文本分类的框架。在行项目识别阶段，我们使用了基于关键词网络的cograph编辑（COE）聚类，该网络可以从用户生成的短文本中构建。我们还提出了整数线性规划（ILP）对于加权网络上的C
2024-04-08 16:19:09
763
原创 交易流水分类 大规模个性化财务交易分类 Large-Scale Personalized Categorization of Financial Transactions
财务会计的一个重要部分涉及使用会计师称之为“账户表”的可定制文件系统来组织业务交易。这项任务必须针对每笔财务交易进行，因此自动化对会计软件用户具有重要价值。在本文中，我们介绍了一个大规模推荐系统，该系统被美国、英国、澳大利亚、加拿大、印度和法国数百万小型企业使用，每年用于组织数十亿笔财务交易。该系统利用机器学习，以一种能够准确推荐账户表类别的方式，即使用户已经创建了自己的类别或使用缩写或外语命名它们。即使给定用户以前从未对类似交易进行分类，也能处理交易。
2024-04-08 16:17:40
650
原创 交易流水分类 可扩展的弱监督银行交易分类 SCALABLE AND WEAKLY SUPERVISED BANK TRANSACTION CLASSIFICATION
本文旨在利用弱监督、自然语言处理和深度神经网络技术对银行交易进行分类。我们的方法通过利用启发式和领域知识来训练准确的交易分类器，最大程度地减少对昂贵且难以获取的手动注释的依赖。我们提出了一种有效且可扩展的端到端数据处理流程，包括数据预处理、交易文本嵌入、锚定、标签生成、区分性神经网络训练，并概述了系统架构。我们通过展示我们的方法的有效性，证明其优于现有市场领先解决方案，实现了准确分类，并且可以快速扩展到新颖和复合用例。这反过来可以解锁许多金融应用，如财务健康报告和信用风险评估。关键词弱监督⋅\cdot⋅。
2024-04-08 16:13:52
597
原创 交易流水分类 对图中的长尾类别进行表征 Characterizing Long-Tail Categories on Graphs
长尾数据分布在许多现实世界网络中普遍存在，包括金融交易网络、电子商务网络和协作网络。尽管最近的发展取得了成功，但现有的研究主要集中在通过图增强或目标重加权来消除机器学习模型的偏见。然而，目前文献中缺乏提供理论工具来表征图中长尾类别行为并了解实际场景中的泛化性能。为了弥补这一空白，我们提出了第一个用于图中长尾分类的泛化界限，通过将问题形式化为多任务学习的方式，即每个任务对应于一个特定类别的预测。我们的理论结果表明，长尾分类的泛化性能主要受到所有任务的损失范围和任务总数的影响。基于理论发现，我们提出了一个新颖的
2024-04-08 16:12:36
1054
原创 基于不平衡学习和图神经网络的金融交易欺诈检测器 Financial transaction fraud detector based on imbalance learning and graph n
类别不平衡图神经网络欺诈检测同质性异质性欺诈检测是金融领域中一项重要且具有挑战性的任务。传统的机器学习方法在处理交易数据的高度不平衡和复杂性以及欺诈实体的隐秘行为方面存在局限性。为了解决这些问题，我们提出了一种基于图神经网络的欺诈检测模型 HHLN-GNN，利用子图生成器和邻域采样器来处理类别不平衡。此外，该模型采用自注意模块，并区分同质性和异质性连接，以减少欺诈节点的人为性并更充分地利用交易数据的隐藏信息。我们在三个真实世界公开基准数据集 YelpChi、Amazon 和 Elliptic 上进行实验，并
2024-04-08 16:10:15
727
原创 多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
高效微调对于将大型语言模型（LLMs）适应下游任务至关重要。然而，在不同模型上实施这些方法需要付出相当大的努力。我们提出了LLAMAFACTORY，这是一个统一的框架，集成了一套尖端的高效训练方法。它允许用户通过内置的Web UI LLAMABOARD 灵活定制100多种LLMs的微调，无需编码。我们在语言建模和文本生成任务上经验性地验证了我们框架的效率和有效性。该框架已在发布，并已获得超过13,000颗星和1,600个分支。
2024-04-08 16:07:51
917
原创 完全开源的大语言模型 OLMo：加速语言模型科学研究 OLMo : Accelerating the Science of Language Models
语言模型（LMs）已经在自然语言处理研究和商业产品中变得无处不在。随着它们在商业上的重要性不断增长，最强大的模型已经变得封闭，隐藏在专有接口后面，其训练数据、架构和开发的重要细节未披露。考虑到这些细节在科学研究这些模型时的重要性，包括它们的偏见和潜在风险，我们认为研究界有必要获得强大、真正开放的LMs。为此，本技术报告详细介绍了OLMo的首次发布，这是一款最先进的、真正开放的语言模型，以及用于构建和研究语言建模科学的框架。
2024-04-08 16:06:53
1003
原创 金融欺诈：异常检测技术及最新进展综述Financial Fraud: A Review of Anomaly Detection Techniques and Recent Advances
随着技术的发展和现代社会持续的经济增长，金融行业中的欺诈行为变得更加普遍，每年给机构和消费者造成数百亿美元的损失。欺诈者不断改进他们的手法，以利用当前防范措施的漏洞，其中许多人瞄准了金融领域。这些犯罪行为包括信用卡欺诈、医疗和汽车保险欺诈、洗钱、证券和商品欺诈以及内幕交易。单独使用欺诈预防系统无法提供足够的安全防范来抵御这些犯罪行为。因此，检测系统对于在犯罪行为发生后检测到欺诈行为以及潜在的成本节约更加明显。
2024-04-07 13:16:29
456
原创 FinDiff：金融表格数据生成的扩散模型 FinDiff: Diffusion Models for Financial Tabular Data Generation
监管机构共享基金持仓和衍生工具等微观数据面临着严格的数据保密和隐私法规，这带来了独特的挑战。这些挑战经常阻碍了学术界和从业者有效开展合作研究的能力。生成模型的出现，特别是能够合成模拟真实数据基础分布的扩散模型，提供了一个引人注目的解决方案。本文介绍了“FinDiff”，一个旨在为各种监管下游任务生成真实金融表格数据的扩散模型，例如经济情景建模、压力测试和欺诈检测。该模型使用嵌入编码来建模混合模态金融数据，包括分类和数值属性。
2024-04-07 13:14:41
383
原创 深度学习在时间序列数据异常检测中的应用：回顾、分析和指南 Deep Learning for Anomaly Detection in Time-Series Data: Review, Analys
随着工业自动化和连接技术的发展，各种系统持续产生大量数据。已经提出许多方法，从海量数据中提取主要指标以代表整个系统状态。利用这些指标在时间上检测异常可以预防潜在事故和经济损失。在多变量时间序列数据中检测异常具有特殊挑战，因为它需要同时考虑时间依赖性和变量之间的关系。最近基于深度学习的工作在这一领域取得了令人瞩目的进展。它们能够以无监督的方式学习大规模序列的表示，并从数据中识别异常。然而，大多数方法对于个别用例非常具体，因此需要领域知识来进行适当部署。
2024-04-07 13:12:56
357
原创 用于时间序列异常检测的深度学习：一项调查 Deep Learning for Time Series Anomaly Detection: A Survey
时间序列异常检测对于许多研究领域和应用至关重要，包括制造业和医疗保健。异常的存在可能表明新颖或意外事件，如生产故障、系统缺陷、心跳异常等，因此具有特殊的重要性。时间序列数据中的大规模和复杂模式促使研究人员开发了专门的深度学习模型来检测异常模式。本调查对时间序列异常检测的深度学习最新技术进行了结构化和全面的概述。它提供了基于异常检测策略和深度学习模型的分类法。除了描述每个类别中的基本异常检测技术外，还讨论了它们的优势和局限性。此外，本研究还包括了近年来各个应用领域中时间序列深度异常检测的示例。最后，总结了在将
2024-04-07 13:09:12
349
案例系列：泰坦尼克号-预测幸存者-TensorFlow决策森林.ipynb jupyter 代码示例
2023-12-23
工具系列：PyCaret介绍-用外生变量单变量时间序列预测.ipynb
2023-12-22
工具系列：PyCaret介绍-Fugue 集成-Spark、Dask分布式训练
2023-12-21
案例系列：美国人口普查-预测收入超过50K-TabTransformer二分类.ipynb
2023-12-21
案例系列：营销模型-客户细分-无监督聚类.ipynb juypter代码
2023-12-20
案例系列：银行信用卡欺诈-不均衡数据二分类.ipynb jupyter 代码
2023-12-20
工具系列：PyCaret介绍- 异常检测示例.ipynb juypter代码
2023-12-20
工具系列：PyCaret介绍-二分类模型.ipynb juypter代码
2023-12-20
工具系列：PyCaret介绍-回归模型示例.ipynb
2023-12-19
工具系列：PyCaret介绍-多分类代码示例.ipynb python jupyter代码
2023-12-19
工具系列：PyCaret 介绍-聚类算法案例.ipynb
2023-12-19
银行信用卡欺诈-预测是否欺诈- 自编码器AutoEncoder二分类，python jupyter代码示例
2023-12-19
美国人口普查-确定一个人年收入是否超过50K-TensorFlow Decision Forests二分类.ipynb
2023-12-19
银行个人贷款营销分类项目：预测客户是否购买贷款
2023-12-18
银行市场营销数据挖掘：预测客户是否购买定期存款代码
2023-12-18
机器学习经典论文中英文合集：CatBoost unbiased boosting with categorical featur
2023-11-23
机器学习经典论文中英文合集：LightGBM A Highly Efficient Gradient Boosting Deci
2023-11-23
机器学习经典论文中英文合集：NGBoost Natural Gradient Boosting for Probabilisti
2023-11-23
机器学习经典论文中英文合集：XGBoost A Scalable Tree Boosting System XGBoost
2023-11-23
机器学习经典论文中英文合计：随机森林 Random Forests LEO BREIMAN Machine Learning
2023-11-23
DNA序列分析软件 DNAssit 3.10 可用于64位windows
2019-05-26
DNA序列分析软件 DNAssit 3.10 可用于64位windows
2019-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人