- 博客(298)
- 收藏
- 关注
RSS订阅原创 大模型多智能体协同综述
随着大语言模型（LLMs）的最新进展，代理式人工智能（Agentic AI）在现实应用中取得了显著进展，朝着基于多个大语言模型的智能体迈进，实现感知、学习、推理和协同行动。这些基于大语言模型的多智能体系统（MASs）使得一组智能体能够协作解决复杂任务，并以大规模方式实现集体行动，从孤立的模型转向以协作为核心的方法。本文提供了关于多智能体系统协作方面的广泛综述，并提出了一个可扩展的框架来指导未来的研究。我们的框架根据关键维度对协作机制进行表征：参与者（涉及的智能体）、类型（例如，合作、竞争或合作竞争）、结构（
2025-03-18 10:55:26
734
原创 TableAgent 数据分析智能体简介及应用实战
九章云极DataCanvas是一家AI基础软件供应商，致力于为企业训练和应用大模型赋能，通过自主研发的人工智能基础软件产品系列和解决方案，为用户提供人工智能基础服务，助力其在数智化转型中轻松完成模型和数据的双向赋能，低成本高效率的提升企业决策能力，实现企业级AI规模化应用。
2025-03-18 10:53:05
1099
原创 用AI+dify完成前后端开发+数据处理和数据清洗
全程不需要自己写一行代码，我们就完成了前后端开发和数据处理、数据清洗，效率提升肉眼可见。实际上这也是未来的趋势，在AI的加持下，我们每一个人的能力都会被无限放大，早日尝试并习惯高效使用AI才能帮助我们在新时代的变革中保持竞争力。本文转自allv102，如有侵权，请联系删除。
2025-03-18 10:51:06
1034
原创 数据集落地方案总结之预训练数据集以及框架清洗
本文从快速构建大型语言模型（LLM）训练数据集的角度出发，全面梳理了中文、英文和多语种数据集及其清洗规则，介绍了常用的数据清洗框架和主要流程，指出现有数据集存在的问题及其初步解决方案。站在开源数据集的肩膀上，通过数据整合和精细治理，我们能快速产出落地方案和结果，从而推动 LLM 的训练和优化任务。数据类别：已覆盖了所有常见的类别，包括网页、书籍、企业年报、法律文书、问答、新闻、百科、考试、专利、评论、博客、歌词、古诗文、中英平行语料等。训练语种：训练集包含中英双语。
2025-03-18 10:41:56
1754
原创 人工智能数据预处理一文精讲
在自然语言处理（NLP）中，数据预处理，又可称数据清洗，是指将原始文本数据转换成适合机器学习模型处理的格式的过程。前排提示，文末有大模型AGI-CSDN独家资料包哦！根据特定领域的术语或特定的数据集特性，可能需要开发自定义的预处理规则。在以上方法中，我只挑选了部分比较常用且重要的方法进行了详细地分析和讲解并分别给出了代码示例便于大家进一步理解或者运用。数据预处理是NLP任务成功的基础，它有助于提高模型的性能和准确性。预处理步骤的选择和实现取决于具体的应用场景和数据特性。
2025-03-18 10:39:10
643
原创 Meta-CoT：让AI学会“如何思考“
最新研究论文提出了一个突破性的框架——Meta Chain-of-Thought（Meta-CoT），这一方法不仅关注"思考的结果"，更注重"思考的过程"。研究团队发现，在复杂问题解决过程中，人类的思维并非简单的线性步骤，而是包含了探索、验证等多维度的迭代过程。更深入的分析揭示了AI是如何"误导"人类的：在问答任务中，模型学会了选择性地引用或虚构证据，构建看似合理但实际有误的论证；这项研究启示我们，让AI具备真正的推理能力，关键在于理解和模拟人类的思维过程，而不仅仅是模仿表面的解题步骤。
2025-03-17 21:26:38
698
原创 百度接入DeepSeek带来了哪些体验升级？
值得注意的是，百度AI搜索在生成内容时，还能够在右侧的“灵感探索”区域，根据用户的当前提问，提供相关的灵感内容，以协助用户梳理问题的脉络，并使用户能够通过一次提问便全面了解问题的全貌。令人惊讶的是，百度AI搜索不仅能注意根据问题中的“日期范围”的筛选结果，同时还能准确回答出提问当天的日期，展示出其对于时间有明确的理解，这对于结果搜索精度而言，能够带来不小的提升。从思考过程来看，百度AI搜索不仅可以给出详细的解题过程，同时还会有检查校对的过程，这是很多“残血版”R1模型所不具备的，可以看出。
2025-03-17 21:24:54
553
原创 多智能体数据分析
想象一下，一个专注于抵押贷款领域的绩效营销公司，生成潜在客户并将其出售给金融机构。每种抵押贷款产品通过五个媒体渠道进行广告宣传——如社交媒体、搜索引擎和电子邮件——并进一步细分为5-7种子类型，例如Facebook、Instagram或Google Ads。这为每种产品创造了至少25个时间序列。将此乘以多个产品，您突然需要每天跟踪数百项指标。现在考虑一个关键指标，比如潜在客户接受率——客户接受的潜在客户的百分比。在大量数据中，这个指标的逐渐下降可能会在几周内被忽视，导致利润损失和被动管理。
2025-03-17 21:22:34
1114
原创 DeepSeek提示词如何深化学术内容
随文附上的是我搜集的相关数据资料。对比不同理论框架下的研究结论，探讨其异同点及背后的理论逻辑，这不仅能展现你对多理论的掌握，还能揭示研究对象的多维度特性。DeepSeek提示词：针对我的研究生论文[论文选题，例如区块链技术在供应链管理中的应用探索]，请你构思一个全面的理论体系，要求构建或进一步完善适用于该领域的理论模型，提升论文的理论价值。DeepSeek提示词：假如你是一位[研究领域，例如可持续城市规划]的资深学者，请从全球视野出发，探讨本领域内的最新趋势与未来发展方向，以及与其他学科的交叉融合点。
2025-03-17 21:21:20
394
原创 大模型训练集数据增强是什么？
在深度学习中，数据是模型性能的基石。大规模、高质量的数据集通常能显著提高模型的泛化能力，帮助模型在真实场景中做出更准确的预测。然而，在很多实际应用中，数据收集困难、昂贵或者受限，尤其是当数据集相对较小或标注数据难以获取时，如何提升模型的性能成为了一个巨大的挑战。在这种情况下，数据集增强（Dataset Augmentation） 作为一种有效的解决方案，逐渐被广泛应用于各种深度学习任务中。
2025-03-17 21:17:56
772
原创 大模型数据清洗调优
近期一直在协助做AI大模型数据清洗调优的工作，主要就是使用大数据计算引擎Spark做一些原始数据的清洗工作，整体数据量大约6PB-8PB之间，那么对于整个大数据量的处理性能将是一个重大的挑战，关于具体的调优参数配置项暂时不在本文内容之中，因为调优还在进行时，等事情结束之后，再将相关参数以及说明发布出来。
2025-03-14 11:58:51
778
原创 人工智能技术在数据清洗方面的应用
数据清洗是数据预处理的重要环节，它涉及到数据的去噪、补全、转换等多种操作，以确保数据的质量和可靠性。随着数据规模的增加，手动进行数据清洗已经无法满足业务需求，因此，数据清洗的自动化变得至关重要。人工智能技术在数据清洗方面的应用，可以帮助我们更有效地进行数据清洗，提高数据质量，降低人工成本。
2025-03-14 11:41:15
867
原创 大模型应用之数据资产人工智能
数据资产人工智能(Data Asset AI)是一种利用人工智能技术来管理和优化数据资产的方法。在大数据时代，数据资产已经成为企业和组织的核心资产，其价值不断增长。然而，随着数据的量和复杂性的增加，手动管理和分析数据已经不能满足需求。因此，人工智能技术在数据资产管理领域具有广泛的应用前景。背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体代码实例和详细解释说明未来发展趋势与挑战附录常见问题与解答前排提示，文末有大模型AGI-CSDN独家资料包哦！
2025-03-14 11:38:59
400
原创 大模型时代的“三剑客”：智能体（Agent）、AIGC、AGI！
智能体（Agent）就像是餐厅的服务员，能感知顾客的需求，比如看到顾客举手就知道要过去服务，然后根据顾客的要求做出决策，比如给顾客推荐合适的菜品，最后执行任务，把菜端给顾客。它能进行复杂的推理，就像福尔摩斯一样，通过各种线索解开谜团；你可以把它想象成电影《机器人总动员》里的瓦力，它能像人类一样，啥都能干，无论是打扫垃圾，还是和地球人交流，甚至还能有自己的情感和思考。AGI 的目标就是让机器拥有像人类一样的通用智能，能适应各种各样的环境和任务，而不是像现在的很多 AI 那样，只能在特定的领域里“耍大刀”。
2025-03-12 11:59:52
446
原创 大模型微调数据集构建方法
目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时候我们并不想用这些数据集微调模型，我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。用于微调的数据通常是成千上万的问答对，如果手工搜集，需要花费大量时间。
2025-03-12 11:58:19
1256
原创 大模型训练数据集格式
对于大语言模型的训练中，SFT（Supervised Fine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。每个样本可以是一个字符串或者是一个tokenized的文本序列。
2025-03-12 11:56:12
905
原创 如何训练自己的大模型？只需三步你也可以！
预训练是大模型训练的第一步，目的是让模型学习语言的统计模式和语义信息。Parameter-Efficient Fine-Tuning (PEFT)旨在通过最小化微调参数的数量和计算复杂度，达到高效的迁移学习的目的，提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。但是这种算法存在一些比较明显的缺点，比如PPO是on-policy算法，每一次更新都需要收集新的样本，这就会导致算法的效率低下，并且更新是在每次训练时进行的，因此策略更新比较频繁，这就会导致算法的稳定性较差。
2025-03-12 11:54:42
716
原创 如何本地安装向量数据库，并搭建rag
RAG ( Retrieval-Augmented Generation , 检索增强生成 )是一种结合 信息检索 与 生成模型 的技术 , 通过 外部知识库 提升 生成内容的 准确性 和 相关性;RAG 流程可分为 三阶段 :向量相似度 匹配本地知识本地知识库信息 注入提示词大模型整合提示词 输出RAG 积极意义 :无需 重新训练模型 即可通过 更新 本地知识库 适应 新领域数据 或 实时数据;生成结果可追溯至检索内容 , 便于验证来源可信度。
2025-03-12 11:51:10
1239
原创 大模型应用场景10家企业的最佳实践
上汽乘用车搭建基于AI大模型的汽车在线问答平台，主要针对PDF、WORD、PPT、TXT、EXCEL等非结构化文档，实现自然语言与知识间的交互，提升员工工作效率及学习能力，应用在上汽的研发、内部运维、售后等多个场景，为车主及内部员工提供智能知识助手，高效获取知识经验，减轻服务人力。基于中国移动九天·海算政务大模型，黑龙江数字政府打造智能政务客服和管理驾驶舱，智能政务客服为企业、群众提供了“更便捷、更贴心、更智能”的一站式智能客服新体验，管理驾驶舱实现了项目任务的过程管控、多维认知、辅助决策和指挥管理。
2025-03-08 13:45:31
893
原创 大模型落地场景总结
目前，让大模型代替医生还不大可能，但是作为辅助手段还是可以的。社交领域，可以让大模型跟数字人结合起来，扮演文秘、女朋友，这种APP不在少数（恋爱说、友蜜等）。最后，现在尽管扩模态的东西很多，大家也都在研发OpenAI SORA那样的世界模型，但现在都还不够成熟。几乎各行各业都有自己的各种知识，这些知识都可以经过向量化、大模型的处理加工，让大模型可以基于行业知识做问答。如果从行业和场景来考量，首先要想的是这个行业和场景是不是知识密集型的（因为大模型擅长处理语言逻辑），然后在考虑这个场景在行业内能否共享起来。
2025-03-08 13:42:58
865
原创 一文理解数据预处理/数据清洗
在自然语言处理（NLP）中，数据预处理，又可称数据清洗，是指将原始文本数据转换成适合机器学习模型处理的格式的过程。根据特定领域的术语或特定的数据集特性，可能需要开发自定义的预处理规则。在以上方法中，我只挑选了部分比较常用且重要的方法进行了详细地分析和讲解并分别给出了代码示例便于大家进一步理解或者运用。数据预处理是NLP任务成功的基础，它有助于提高模型的性能和准确性。预处理步骤的选择和实现取决于具体的应用场景和数据特性。在实际应用中，可能需要结合多种预处理技术来达到最佳效果。CSDN独家福利。
2025-03-08 13:40:01
896
原创 大模型数据清洗与预处理的关键步骤与案例解析
数据清洗和预处理是客服系统研发中不可或缺的步骤，通过合理处理缺失值、重复值和异常值，可以显著提高数据质量，从而为后续的模型训练和评估奠定坚实的基础。在实际操作中，不同的数据集有不同的特性，选择适合的清洗方法并结合具体数据集的特点，才能最大限度地发挥数据的价值。异常值通常指那些远离数据集中其他观察值的记录，在客服系统中，异常值可能表现为客户异常长时间的对话、极端高的投诉频率或异常的反馈评分等。在客服系统中，数据的缺失是一种常见现象，通常包括未填写的客户反馈评分、遗漏的客户身份信息、丢失的对话记录等。
2025-03-08 13:35:40
719
原创 langchain chatchat搭建知识库
本文将使用 Langchain-Chatchat 搭建一个知识库，还可以进行聊天等功能。由于是在 google 实验室上面跑代码，所以本地电脑什么配置都无所谓！效果图运行起来后可以上传各种文档文件到知识库。
2025-03-08 13:34:07
288
原创 大模型训练六个关键步骤
大模型（Large Models）的训练是近年来人工智能领域的核心技术之一，尤其是在自然语言处理、计算机视觉等任务中，如 GPT、BERT 等模型的成功背后，离不开复杂的训练过程。数据收集：大模型通常依赖于广泛的文本数据，像 GPT-3、BERT 这样的大模型，会从互联网上抓取大量公开可用的数据，涵盖百科、新闻、社交媒体、图书等多种文本来源。模型蒸馏（Model Distillation）：通过训练一个较小的模型去模仿大模型的行为，使得小模型能够以更少的计算资源实现接近大模型的性能。
2025-03-07 14:45:29
689
原创 AI数据清洗
一个类别型特征的值可以是大、中、小，1-5的排名，是和不是，1和0，黄色、红色、蓝色等等。它们基本上代表类别，如年龄组、国家、颜色、性别等。
2025-03-07 14:41:27
1049
原创 数据清洗有多重要？
数据清洗是大模型训练过程中不可或缺的一环。通过合理的数据清洗方法，可以有效提升数据质量，从而为模型的高性能奠定基础。在实际应用中，数据清洗需要结合具体场景和需求，灵活选择合适的方法和工具。随着技术的进步，自动化数据清洗工具和智能化清洗算法将进一步提高数据清洗的效率和准确性，为大模型的发展提供更强有力的支持。CSDN独家福利。
2025-03-07 14:39:07
437
原创 langchain 使用
官方定义是：LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序，它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain是一个语言模型集成框架，其使用案例与语言模型的使用案例大致重叠，包括文档分析和摘要、聊天机器人和代码分析。简单来说，LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。
2025-03-07 14:36:30
849
原创 langchain 使用指南
官方定义是：LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序，它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain是一个语言模型集成框架，其使用案例与语言模型的使用案例大致重叠，包括文档分析和摘要、聊天机器人和代码分析。简单来说，LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。
2025-03-06 14:38:10
1020
原创 大模型数据清洗
以大量的清洗过的网络数据预训练大模型，之后在精标数据上微调，将大模型数据适配到各个垂域是未来大模型应用和发展的趋势。数据集在AI大模型的竞争中扮演着重要角色，AI大模型的发展需要大规模、高质量的数据，而有效的数据处理方式是实现大模型成功的关键因素之一。同时，借助贝叶斯相关算法和技术，可有效区分良性数据和不良数据，成为数据清洗的重要手段之一。数据清洗的方法包括选择高质量数据源，规范化文本、去除HTML和标记、过滤停用词和噪声词，处理拼写错误、清除敏感信息，检测和处理异常值，评估数据质量，并记录清洗过程。
2025-03-06 14:36:05
951
原创 大模型如何做数据分析和数据清洗整理
数据清洗是大模型训练过程中不可或缺的一环。通过合理的数据清洗方法，可以有效提升数据质量，从而为模型的高性能奠定基础。在实际应用中，数据清洗需要结合具体场景和需求，灵活选择合适的方法和工具。随着技术的进步，自动化数据清洗工具和智能化清洗算法将进一步提高数据清洗的效率和准确性，为大模型的发展提供更强有力的支持。
2025-03-06 14:34:53
770
原创 langchain和llamaIndex优劣对比
LlamaIndex在搜索和检索任务方面表现出色。它是一个强大的数据索引和查询工具，非常适合需要高级搜索的项目。LlamaIndex能够处理大型数据集，从而实现快速准确的信息检索。LangChain是一个模块化和灵活的工具集框架，用于构建各种NLP应用程序。它提供了一个用于构建链的标准接口，与各种工具的广泛集成，以及针对常见应用场景的完整端到端链。
2025-03-06 14:33:09
705
原创 大模型微调技术有哪些？大模型微调最全总结来了
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。持续学习或终身学习是指模型在处理连续的任务时不断学习，而不是仅针对单一任务进行微调。大模型微调技术通常指的是在大型预训练模型的基础上，通过少量的参数调整来适应特定任务或领域的技术。例如，可以先用较低的学习率训练整个模型，然后用较高的学习率仅对模型的顶层进行微调。在微调过程中，可以冻结预训练模型的部分层，只对模型的某些层进行训练。
2025-03-06 14:27:32
299
原创 大模型微调实战：基于 LLaMAFactory 通过微调修改模型自我认知
本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。本文的一个目的：基于模型进行微调，修改模型自我认证。
2025-03-05 11:44:43
895
原创 大模型产品经理面试必知题库与解答技巧
这两天跟很多做程序员的朋友聊天，怎么看全网火爆的大模型。让我挺意外的是，大家的反馈普遍都很焦虑。前排提示，文末有大模型AGI-CSDN独家资料包哦！在AI大模型微调领域的产品经理面试中，总会遇到一系列与技术细节、项目经验、市场趋势以及职业规划相关的问题。面试题1：请简述你对AI大模型微调的理解，并举例说明其在实际产品中的应用。回答AI大模型微调是一种在预先训练的模型基础上，针对特定任务或数据集进行的有监督训练策略。通过微调，可以显著提高模型在特定任务上的性能，并降低推理成本。
2025-03-05 11:37:38
794
原创 langchain是什么？
LangChain是一个开源框架，它允许从事人工智能的开发者将大语言模型（如GPT-4）与外部计算和数据来源结合起来，从而构建出功能强大的应用。这个框架自2022年10月作为开源项目推出以来，已经在开发社区中获得了广泛的关注和认可，并成功吸引了多轮融资，估值不断提升。
2025-03-05 11:34:49
679
原创 大模型LangChain速通——Chain模块详解
LangChain给自身的定位是：用于开发由大语言模型支持的应用程序的框架。它的做法是：通过提供标准化且丰富的模块抽象，构建大语言模型的输入输出规范，利用其核心概念chains，灵活地连接整个应用开发流程。这里是LangChain系列的第四篇，主要介绍LangChain的Chain模块。LangChain是一个框架，用于开发由大型语言模型（LLM）驱动的应用程序。开发：使用LangChain的开源构建块和组件构建应用程序。使用第三方集成和模板开始运行。
2025-03-05 11:32:21
1072
原创 大模型微调经验总结
终于有时间做个最近工作的小结，最近一个多月，做了很多大模型微调的工作，包括了生成式任务以及判别式任务，典型的任务如文创、意图分类等。整理一下微调的经验与感想 （几十块A100的堆出来的，都是钱啊！
2025-03-05 11:25:37
704
原创 总结！大模型微调（Tuning）的常见方法
微调是指调整大型语言模型（LLM）的参数以适应特定任务的过程。这是通过在与任务相关的数据集上训练模型来完成的。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。前排提示，文末有大模型AGI-CSDN独家资料包哦！大模型微调如上文所述有很多方法，并且对于每种方法都会有不同的微调流程、方式、准备工作和周期。
2025-03-04 16:57:42
872
原创 如何用好大模型？八步实现大模型接入
要说什么技术是最火的？大模型恐怕是绕不开的。相比前几年爆火的区块链、元宇宙等技术，大模型有着更明确的落地场景和应用价值，企业对大模型的关注度相比之前也更高。但是，大模型的门槛也是其他技术所未有的。脱胎于机器学习的大模型，具有巨大量级的参数和复杂结构。那么，我们该如何参与到大模型应用的行列中呢？火山引擎推出的一系列文章将帮助大家快速了解和应用大模型。文章将从企业需求、模型选型、模型评估、模型精调等一系列话题入手，以简单易懂的语言帮助大家学习和成长。
2025-03-04 16:48:26
1186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人