樱花的浪漫-CSDN博客

原创 Graph RAG——从局部到全局实现高效查询摘要（QFS）

在现代信息处理技术的广袤领域中，检索增强生成（RAG）技术已成为从外部知识源检索相关信息的重要工具，使得大型语言模型（LLM）能够有效回答涉及私人或未见过的文档集合的查询。然而，在应对全局性查询时，RAG技术的效能受限。例如，当用户提出“数据集中的主要主题是什么？”此类问题时，便需要一种能够综合整个文本语料库信息的解决方案，这构成了查询聚焦的摘要（QFS）任务的核心。传统QFS方法在处理大规模文本时面临扩展性挑战，难以有效应对RAG系统所需的海量文本处理需求。

2024-07-14 11:36:41 118

原创 Agent-FLAN: Designing Data and Methods of Effective Agent Tuningfor Large Language Models

在深入探讨语言智能体技术时，我们观察到利用LLMs（大型语言模型）的卓越能力来感知环境、决策并行动，已成为应对复杂现实问题的有效策略。目前的研究重心主要集中在提示工程及多个闭源LLMs（如GPT-4）的框架调度上，以达成智能体任务的执行。尽管这些研究在成果与灵活性上表现出色，但闭源LLMs高昂的财务成本及潜在的安全问题成为其进一步推广的障碍。近期，开源LLMs作为有力的替代方案崭露头角，并在多种应用中展现出积极的成果。

2024-07-13 11:38:46 81

原创 FakeNewsGPT4：通过知识增强的大规模视觉语言模型推进多模态假新闻检测

当前，多模态假新闻的大量涌现导致了显著的分布差异，这一现状亟需我们开发具备广泛适用性的检测器。然而，现有假新闻检测器因特定领域内的训练方式，难以有效获取开放世界中的事实信息。这种训练的封闭性限制了传统检测器的能力，特别是在面对跨域假新闻时，其表现往往不尽如人意。具体而言，开放世界中的假新闻在两个方面具有显著的分布差异：一方面，其操纵内容多种多样，新闻的任一部分都可能受到创意策略的操控；另一方面，真实背景复杂多变，不同地区的新闻背景和主题焦点存在显著差异。

2024-07-12 12:07:40 358

原创强化学习驱动的狼人游戏语言智能体战略玩法

在AI领域，构建具备逻辑推理、战略决策以及人类沟通能力的智能体一直被视为长远追求。大规模语言模型（LLMs）凭借丰富的知识储备和出色的泛化能力，在构建智能体方面呈现出巨大的应用潜力，并已推动了一系列近期的技术突破。这些基于LLM的智能体在网页浏览、复杂电子游戏及现实应用等多个场景中均展现出卓越的性能。在多智能体环境中，它们更是展现了与人类相似的互动、零样本合作以及与对手竞争的能力。尽管已取得显著成就，但在面对复杂的决策任务，如多智能体游戏时，

2024-07-11 12:29:26 135

原创利用外部知识增强的LEMMA模型：提升多模态虚假信息检测的LVLM方法

多模态虚假信息通过综合文字、图像和视频等多元化形式，在社交平台上的传播过程中，相较于单一的文本虚假信息，其展现出了更高的可信度和深远的影响力，这无疑增加了其检测的难度。尽管大型语言模型（LLMs）在传统自然语言处理任务中展现出卓越的性能，但由于仅局限于文本资源处理，其在虚假信息检测领域的应用受到了限制。相比之下，大型视觉语言模型（LVLM）由于能够同时处理视觉和文本信息，展现出了在多模态虚假信息检测领域的显著潜力。然而，经研究发现，

2024-07-10 12:27:37 72

原创文本大模型下游任务与peft微调实战

大模型在当前的技术背景下，尽管看似遥不可及，但我们仍需探讨如何克服算力挑战，并将其有效地应用于下游任务。lamma模型为我们提供了一个解决方案，它表明通过利用仅13B参数量的模型，我们依然可以达到接近1730亿参数的效果。接下来，我们不得不提及LORA技术，它针对的是模型训练过程中的实际挑战。显然，为每一个下游任务微调数千亿级别的参数是不切实际的。LORA提出了一种创新思路，即为每个下游任务训练一个小模型，并结合大模型与小模型的参数。这种方法不仅降低了应用大模型的难度，同时也增强了预训练大模型的通用性。

2024-07-09 19:39:46 714

原创 ChatEval：通过多代理辩论提升LLM文本评估质量

对文本质量的评估，无论是源自语言模型还是人类编写，长久以来都构成了一项艰巨且备受瞩目的任务。传统的评估方法，主要依赖于人工标注，因其在时间和成本上的高昂投入而显得尤为苛刻。为了解决这一问题，已有基于n-gram的自动评估指标如Rouge、BLEU和METEOR等被提出。然而，这些方法在应对开放式文本生成或需要特定领域专业知识的场景中，与人类判断的契合度相对较低。

2024-07-09 16:10:43 48

原创 Tell Me Why:利用大型语言模型进行可解释的公共健康事实核查

最近的COVID-19大流行突显了公共健康领域事实核查的关键需求。在信息通过社交媒体平台迅速传播的时代，手动事实核查的可行性面临重大挑战。健康领域的错误信息可能造成严重甚至致命的后果，这强调了自动化事实核查机制在防止潜在危机和保护公共健康中的重要作用。提供清晰的解释是有效事实核查的重要组成部分，因为事实核查人员需要说服其受众他们的基于证据的结论。虽然某些机器学习模型（如决策树和线性回归）由于其简单的操作框架而提供了一定程度的可解释性，但随着基于神经网络的大型语言模型的出现，情况发生了巨大变化。

2024-07-08 10:31:25 163

原创文本关系抽取实战

语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。关系可以是直接表达的，如“张三的父亲是李四”，也可以是隐含的，需要通过上下文推断。比如，指出“苹果公司”是“发布”的主语，“新手机”是宾语，这有助于识别出动作的执行者和承受者。例如，“苹果公司发布了新手机”会切分成“苹果”、“公司”、“发布”、“了”、“新”、“手机”。：首先需要识别出文本中的关键实体，这些实体可以是人名、地名、组织机构、时间、数量等具有特定意义的信息。

2024-07-07 18:33:37 380

原创将大型语言模型模块化打造协作智能体

在去中心化控制及多任务环境中，多智能体合作问题因原始感官观察、高昂的通信成本以及多目标任务的复杂性而显得尤为棘手。过往研究往往基于无成本通信的假设，或依赖于具备共享观察能力的集中控制器。LLMs在自然语言理解、对话生成、世界知识的丰富性以及复杂推理能力方面展现出了卓越的性能。尽管已有研究证明，LLMs能够借助零样本或少样本提示驱动具身智能体完成单智能体任务，但在去中心化设置下，特别是在通信成本高昂的情况下，构建合作智能体仍面临巨大挑战。

2024-07-07 11:03:04 1042

原创 AgentOhana：打造统一数据和训练管道，提升智能体学习效果

近年来，大型语言模型（LLMs）在多个领域，如代码生成、数学推理、对话式人工智能及AI智能体等，已展现出卓越的能力。此类模型，例如OpenAI的GPT-4，在处理复杂任务及长时间推理时表现突出，因此吸引了广泛的研究关注与开源社区的兴趣。为支持智能体任务，已有多项框架（如AutoGPT、OpenAgent、BOLAA、XAgent、LangChain）被设计并获得了显著关注。然而，值得注意的是，许多现有的智能体仍依赖于封闭源码的LLM API，这主要源于大多数开源模型在应对复杂智能体任务时表现不佳。

2024-07-06 12:45:25 43

原创 FANG：利用社交网络图进行虚假新闻检测

（1）实体的定义（2）交互类型立场关系的类型：中立支持（neutral support）、负面支持（negative support）、否认（deny）、报告（report）（3）虚假新闻的定义。

2024-07-05 20:17:48 57

原创使用多智能体辩论微调大型语言模型

近年来，大型语言模型（LLMs），例如GPT-3.5和GPT-4，已在语言生成、理解、推理及泛化方面展现出了显著的性能（OpenAI，2023；Touvron等，2023）。一种新兴的趋势是通过微调这些LLMs，来增强其在特定任务中的表现，例如根据用户指令生成响应或针对特定领域定制输出。尽管人类反馈方法（Ouyang等，2022）为微调提供了一种潜在途径，但其过程可能劳动强度大且耗时。因此，研究者们开始探索使用如GPT-3.5或GPT-4等强大模型的数据进行微调的创新方法（Chiang等，2023；

2024-07-02 10:47:40 149

原创大型语言模型能否生成可信的事实核查解释？——通过多智能体辩论实现可信可解释的事实核查

在数字化时代，对于迅速传播的错误信息，其核实与明确的核实解释同等重要，这对于构建用户信任体系具有决定性意义。缺乏解释往往导致用户对事实核查结果的质疑与不信任。特别是在多跳事实核查中，解释生成的必要性更为凸显，因其涉及跨越多重证据片段的复杂推理过程，旨在准确评估声明的真实性。尽管大型语言模型（LLMs）在多样化文本生成方面展现出了显著能力，但其在生成可信事实核查解释方面的性能尚未得到充分的研究与验证。可信性在此处显得尤为重要，错误的解释不仅无法纠正错误信息，反而可能加剧其影响，从而引发一系列严峻挑战。

2024-07-01 12:15:00 147

原创基于知识图谱的医药问答系统实战

JDK 安装：https://www.oracle.com/java/technologies/javase-downloads.htmlNeo4j 安装：https://neo4j.com/download-center/ 配置好 JDK 和 Neo4j 的环境变量启动:neo4j.bat console第一次启动有默认用户名和密码：neo4j neo4j 数据是从网上爬取的医疗数据，其中包含疾病名称、症状等多个字段。运行build_medicalgraph.py，可创建知识图谱

2024-06-29 17:03:04 171

原创论证型大语言模型：促进可解释性与可质疑的决策制定

在探讨大型语言模型（LLMs）在决策支持系统中的应用时，我们需正视其面临的核心问题。这些问题主要包括理解能力的局限，即尽管LLMs在多种推理任务中展现出卓越性能，但其在自动化决策系统中的支持能力受限于其推理能力，如幻觉现象（即错误信息的生成）和逻辑不一致性，这些问题对决策的可信赖度和质量构成严重威胁。此外，LLMs在解释性和可靠性方面的不足亦不容忽视。现有的LLMs往往无法提供透明且可信的推理表示，这引发了对其可靠性和可争议性的担忧。特别是在高风险决策环境中，决策过程和结果的解释性与可靠性显得尤为关键。

2024-06-29 11:31:53 233

原创使用 AutoGen 的 AI 智能体设计模式

在Auto中，每种智能体分别扮演不同的角色。ConversableAgent 作为最高级别的智能体抽象，为所有具体智能体提供了基础的通信能力。这包括发送和接收信息的能力，以及基于这些信息进行内部状态更新的能力。所有从这个类派生的智能体都继承了这些基本功能（通用类）。通用性和灵活性：作为一个通用类，ConversableAgent 提供了必要的模板和方法，使得开发者可以根据特定的应用需求快速开发出新的智能体。这降低了开发复杂多智能体系统的难度和工作量。

2024-06-28 19:21:37 254

原创 Reflexion：通过语言反馈增强的智能体

最近，ReAct、SayCan、Toolformer、HuggingGPT、生成性智能体和WebGPT等研究已明确验证了基于大型语言模型（LLM）核心构建自主决策智能体的可行性。这些方法依托LLMs生成文本，以及API调用中可实施于环境中的“动作”。鉴于其依赖含有庞大参数的模型，目前这类方法主要依赖于上下文示例作为智能体的教学方式，因传统优化方案如基于梯度下降的强化学习，对计算和时间资源的需求极为庞大。本文提出一种Reflexion的替代方案，该方案借助语言强化协助智能体从前述错误中汲取经验。

2024-06-28 11:46:39 65

原创知识图谱——Neo4j数据库实战

JDK 安装：https://www.oracle.com/java/technologies/javase-downloads.htmlNeo4j 安装：https://neo4j.com/download-center/ 配置好 JDK 和 Neo4j 的环境变量在这个实例中，我们会基于发票数据创建一个知识图谱环境配置：pip install py2neo 在这里我们读取购买方、发送方的数据以及对应的交易金额。（2）结点和关系边的构建创立购买方节点、销售方节点，

2024-06-27 20:40:28 190

原创 DELL：利用大语言模型（LLM）生成评论与解释，革新虚假信息检测

幻觉与事实性问题：据Kryściński等人（2020年）及其他研究所述，LLM常产生与事实不符的幻觉内容。适应新知识困难：De Cao等人（2021年）的研究揭示，LLM难以迅速适应不断更新的知识库，这在新闻领域尤为显著。针对上述挑战，论文提出的DELL框架从以下三个方面着手：（1）模拟新闻反应：考虑到社区反应与评论在虚假信息检测中的价值，如Grover等人（2022年）的研究所示，但实时用户互动数据的获取具有局限性。

2024-06-27 16:18:05 200

原创知识图谱介绍及其应用领域分析

知识图谱（Knowledge Graph）乃一种精心设计的技术，旨在储存并整合交织的描述性知识信息。此技术通过构建由实体及其相互关系所组成的网络结构，实现对知识的有序组织与呈现。这些实体涵盖广泛的范畴，包括但不限于具体的物体、事件或抽象概念，它们经由多样化的关系相互连接，从而构建成一个丰富、可查询及可扩展的知识体系。

2024-06-26 15:37:54 63

原创 DYNAMIC LLM-AGENT NETWORK：带有智能体团队优化的LLM智能体协作框架

论文提出了Dynamic LLM-Agent Network（DyLAN）框架，该框架设计用于在动态互动架构中支持大语言模型（LLM）代理进行多轮交互。该方法旨在克服当前静态架构下多个LLM代理集成方式的局限性，静态架构不仅限制了模型的泛化能力，还依赖于人为设定的代理角色。在DyLAN中，每个节点代表一个智能体，可以在特定的时间步上活动。这些节点能够处理来自其他智能体的信息，并基于当前的任务查询生成响应。节点可以是增强了工具的LLM智能体，一个独立的工具（如脚本或专用模型），或一组工具的集合。每个节点。

2024-06-26 11:34:50 63

原创 Llama3应用与RAG的实现

在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；链接：https://pan.baidu.com/s/1BQL5y2OBf2wQc18Jg75JKg?下载地址 https://github.com/ollama/ollama/releases/（3）离线下载Linux环境的Ollama安装脚本，并保存到。

2024-06-25 16:16:52 1131

原创探索SoMeLVLM：面向社交媒体处理的大型视觉语言模型

在线社交媒体平台涌现出海量的文本与视觉内容，深刻揭示了人们如何交流、互动以及自我表达。随着通信技术的日新月异，越来越多的用户活跃于各类主题与兴趣社区，这使得社交媒体成为学术研究的焦点。近期，大型语言模型（LLMs）与大型视觉语言模型（LVLMs）在处理自动化任务方面展现出了卓越的能力，特别是在提示工程的助力下。然而，研究指出，即便经过广泛的实践与评估，这些通用大型模型仍无法完全替代计算社会科学（CSS）的传统研究范式，特别是在社交媒体研究中。

2024-06-25 14:27:10 244

原创 FireAct：使用智能体（agent）微调大语言模型

近年来，针对语言模型（LMs）的研究致力于探索其与外部工具或环境互动的能力，以推进新型语言代理的发展。此类代理具备从环境反馈中汲取新知识、通过语言推理进行连续决策，以及借助自我反思提升任务解决能力的能力。工业界的进展，如ChatGPT插件，凸显了语言代理在实际应用中的巨大潜力和价值。目前，为便于实施，大多数语言代理倾向于采用现成的LMs并辅以少量的提示。

2024-06-24 17:51:08 79

原创颠覆多跳事实验证！Causal Walk 前门调整技术引领去偏新纪元

多跳事实验证（Multi-hop Fact Verification）的目标是通过整合和推理多个证据片段来验证给定声明的真实性。然而，现有研究存在一些问题需要解决。首先，单跳推理的方法在处理多跳推理任务时存在局限性。现有的去偏方法主要集中在单跳推理任务上，无法有效处理多跳推理任务中的复杂偏差模式。其次，生成无偏的多跳事实验证实例是一个挑战。基于数据增强的方法难以生成无偏的多跳事实验证实例，而基于重新加权的方法则难以检测出复杂的偏差样本。

2024-06-23 16:43:07 86

原创利用竞争智慧与大型语言模型：假新闻检测的新突破

社交媒体上的假新闻泛滥已对个人和社会造成显著影响。例如，在全球COVID-19大流行期间，一条关于疫苗严重副作用的虚假新闻导致人们对疫苗的犹豫和抵触，严重影响了疫情控制和医疗系统。虽然官方媒体和调查新闻不断澄清真相，但仅靠调查新闻并不现实，因为其劳动强度大且耗时。因此，迫切需要开发自动化方法及时检测假新闻并提供清晰的证明。之前的工作通过各种信息（如可信度、立场、传播模式、额外知识等）来学习假新闻的潜在特征，但由于其黑箱性质，无法提供公众所需的证明。

2024-06-23 09:21:41 664

原创揭秘MMAdapt：如何利用AI跨领域战胜新兴健康谣言？

在紧急健康事件或话题的初期阶段，如猴痘（mpox）在2022年的爆发，常常因为缺乏及时的资源，如最新的领域知识和标注数据，使得健康相关的误信息的检测变得尤其困难。领域特定的误信息检测局限性：许多现有方法假设训练和测试数据来自相同的数据分布，专注于特定领域的误信息检测。这种假设限制了模型的通用性，因为不同健康领域在词汇使用、话题变化和写作风格等方面各有特点。领域差异性问题：即使是最近开发的一些领域适应解决方案，也主要集中在二元分类问题上，忽视了只包含部分误导内容的误信息的重要类别。

2024-06-22 17:20:31 243

原创知识图谱与大模型之间的协同——THINK-ON-GRAPH

1.概述THINKON-GRAPH: DEEP ANDRESPONSIBLEREASONING OF LARGELANGUAGEMODEL ONK论文地址：1.概述大型语言模型（LLMs）在各种自然语言处理任务中表现出色，但在面对复杂知识推理任务时存在显著限制，如无法提供超出预训练阶段的专业知识或需要长逻辑链和多跳知识推理的问题。此外，LLMs缺乏责任心、可解释性和透明度，并且训练过程通常昂贵且耗时。

2024-06-21 17:05:09 56

原创 Graph of Thoughts——用大模型解决复杂问题

大型语言模型（LLMs）已成为人工智能领域的主导力量。然而，现有的提示方法（如链式思维（CoT）和思维树（ToT））仍存在限制，因为它们通常只能在固定的思维结构（如线性链或树形结构）内推理，这限制了模型处理更复杂推理任务的能力。为了克服现有方法的局限性并模拟人类的非线性和复杂的思维过程，文章提出了一个新的框架——“思维图”（GoT）。GoT的核心优势在于将LLM生成的信息（“LLM思维”）建模为图的顶点，而这些顶点之间的依赖关系则通过边来表示。

2024-06-21 17:04:45 49

原创 AutoGen开发实战

首先，我们设置一个，它是整个系统智能决策的基础，类似于大脑。：它的职责是接收用户的信息。当用户想要查询股票价格或其他请求时，UserProxyAgent会接收到这些指令，然后它就像一个中介，把用户的需要告诉下一个环节。：这是实际干活的部分。接到UserProxyAgent转过来的用户需求后，AssistantAgent会执行相应的操作，比如运行代码获取股票价格信息，或者完成其他数据处理任务。它直接产生回应，帮助满足用户的需求。

2024-06-17 16:06:31 192

原创智能体（Agent）实战——从gpts到auto gen

该 Agent 是一种智能化助理，专为研究人员和学生设计，用于调研计算机领域顶级会议的论文。它能够自动访问各大顶级会议网站，搜索并下载相关论文，并对论文内容进行整理分析，最终生成易于理解的思维导图。这些思维导图旨在帮助用户快速把握论文的核心内容、研究方法、实验结果和研究意义。

2024-06-10 14:49:15 265

原创利用大语言模型进行事实匹配

在当今的数字化时代，错误信息的迅速扩散对公共福祉和社会信任构成了重大威胁。随着在线错误信息的日益泛滥，事实检查者进行手动验证的难度不断增加，因此传统的事实检查过程面临着巨大的挑战。手动事实检查不仅耗时且复杂，还需要从识别值得调查的声明到作出最终裁决等多个步骤。为了解决这些问题，论文提出了FACT-GPT框架，这是一种利用大型语言模型（LLMs）自动化事实检查的声明匹配阶段的技术。FACT-GPT通过生成模拟社交媒体帖子的标记数据集，提供了一个训练和微调更专业化LLMs的平台。

2024-06-06 20:08:25 58

原创针对多智能体协作框架的元编程——METAGPT

每个角色根据其特定领域的专业知识被赋予一定的属性，包括名字、目标、限制和描述。这些定义帮助确保每个智能体在其角色范围内能有效执行任务，同时也使得智能体生成的行为与期望功能相匹配。

2024-06-06 20:07:45 429

原创知识图谱抽取实战

知识图谱是一种先进的数据组织形式，它通过图数据结构来表示实体（如人、地点、概念）及其之间的复杂关系，便于机器理解和处理。这种结构化知识库允许高效的信息检索、推理和知识发现，尤其适用于处理高度关联且需要深度理解的领域，如医学。在医学领域，知识图谱被广泛应用以增强诊断准确性、优化治疗方案、加速药物研发等。具体来说，一个典型的实例是。

2024-05-30 17:11:54 284

原创 AutoGen：通过多智能体（Agent）会话启用下一代LLM应用程序

AutoGen是一个开源框架，可以通过多智能体对话来构建大型语言模型（LLM）应用。这些智能体可以进行对话，以完成各种任务。这个框架的核心思想是使用自然语言和计算机代码来编程，实现灵活的对话模式，以适应不同的应用需求。AutoGen提供了一个通用框架，支持构建各种复杂性和能力的LLM应用，涵盖了从数学、编程、问答到运营研究、在线决策制定和娱乐等多个领域。AutoGen采用通用的智能体设计，允许开发人员利用LLM、人类输入和工具的组合快速创建具有不同角色的智能体。

2024-05-30 17:11:23 196

原创智能体之斯坦福AI小镇（Generative Agents: Interactive Simulacra of Human Behavior）

论文提出了一种多个智能体进行协同，进而模拟可信的人类行为，适用于沉浸式环境、人际沟通排练空间和原型工具等互动应用。生成代理能够像人类一样起床、做早餐、工作；艺术家画画，作家写作；他们形成意见、注意彼此并开始对话；他们记住和反思过去的日子，并计划未来的行为。为了实现生成代理，论文描述了一种架构，该架构通过自然语言存储代理的完整经历记录，随着时间的推移综合这些记忆形成高层次的反思，并动态检索它们以计划行为。研究表明，这些生成代理能够在一个交互沙箱环境中生成可信的个体和群体行为。

2024-05-25 15:35:21 1113

原创智能体（Agent）详细精讲

智能体（Agent）是一种可以通过配置多种技能来执行复杂任务的先进系统，就像一个角色扮演游戏中的主角，可以根据需求配备不同的能力。各种AI工具：智能体可以使用各种人工智能工具，如Dalle生成图像，或利用GPT进行自然语言处理。这些AI工具使得智能体在创作和数据处理方面具备强大的能力。本地可执行程序：智能体能够运行本地程序，如Python脚本，进行数据处理和任务自动化。这样可以实现高度定制化的功能，满足特定的业务需求。第三方API：智能体可以集成并使用各种第三方API，扩展其功能。

2024-05-25 10:48:30 390