自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

AI人工智能的学习之路

归零,更新 重启,向上! 归零,不沉溺过去 更新,不止步于现状 重启,不受限于旧习惯 向上,不断攀升

  • 博客(278)
  • 资源 (37)
  • 问答 (3)
  • 收藏
  • 关注

原创 从零开始用Python构建一个推理LLM(类似 o3 和 DeepSeek-R1):详细的端到端指南

本文介绍了如何从零开始使用 Python 创建一个 200 万参数的推理型语言模型(LLM),并逐步通过预训练、有监督微调(SFT)和基于人类反馈的强化学习(RLHF)三个阶段赋予其推理能力。作者详细展示了如何训练分词器、构建 Transformer 模型、设计数据集加载器,并通过代码示例和训练循环展示了每个阶段的实现过程。最终,模型能够生成包含“思考”和“回答”标签的推理式回答,尽管在小数据集上表现有限,但在更大数据集上训练时表现出了较好的推理能力。

2025-05-21 02:45:00 801 13

原创 RAG-MCP:通过检索增强生成缓解大型语言模型工具选择中的提示膨胀问题

RAG-MCP框架通过结合检索增强生成(RAG)原则和MCP框架,解决了LLMs在外部工具选择中的提示膨胀和决策复杂性问题。该框架的核心是语义检索模块,它将工具元数据表示为向量空间中的点,并高效匹配用户查询与最相关的工具,从而减少提示大小和复杂性,提高决策准确性。MCP压力测试表明,随着工具数量的增加,传统方法面临提示膨胀和决策开销问题,而RAG-MCP通过动态检索最相关的工具,显著提高了选择准确性和系统可扩展性。实验结果显示,RAG-MCP在选择准确性、提示令牌使用和任务成功率方面优于基线方法。然而,该方

2025-05-19 01:15:00 2148 2

原创 Qwen-3 微调实战:用 Python 和 Unsloth 打造专属 AI 模型

本文详细介绍了如何利用 Python 和 Unsloth 对 Qwen-3 模型进行微调,以打造专属的 AI 模型。文章首先强调了 Qwen-3 在各项基准测试中的出色表现,随后详细阐述了微调所需的 Python 库、计算资源以及数据准备策略。接着,通过具体的代码示例,展示了从模型初始化、添加 LoRA 适配器到数据预处理、模型训练以及推理的全过程。最后,还介绍了如何保存和推送微调后的模型至 Hugging Face Hub,为读者提供了一套完整的实战指南。

2025-05-15 02:00:00 1489 49

原创 测试17种引导AI的提示工程技巧:从零样本到更复杂的ReAct

本文探讨了在1B参数的LLaMA模型上测试17种提示工程技巧的效果,旨在通过优化提示方式提升小型LLM的生成结果。文章首先介绍了提示工程的重要性,强调通过改进提示内容可以引导模型生成更准确、创意或可靠的回答。接着,文章详细描述了如何搭建测试环境,包括加载模型和定义相关函数。随后,文章通过具体示例展示了零样本、少样本和角色提示等技巧的应用。零样本提示适用于简单任务,而少样本提示通过提供示例帮助模型更好地理解复杂任务。角色提示则通过指定模型扮演特定角色来调整回答的风格和内容。这些技巧的测试结果表明,合理使用提示

2025-05-14 20:00:00 1758 25

原创 深入理解深度确定性策略梯度DDPG:基于python从零实现

深度确定性策略梯度(DDPG)是一种离线策略的演员-评论家算法,专门为具有连续动作空间的环境设计。它结合了深度 Q 网络(DQN)中的思想,例如回放缓存和目标网络,并将其应用于演员-评论家框架,适应确定性策略的策略梯度。这使得它成为处理机器人控制和模拟物理环境等任务的强大工具,这些任务中的动作是实数值。演员(Actor)μs;θμ\mu(s;μs;θμ:一个策略网络,它接收状态sss并输出一个特定的确定性动作aμsa = \mu(s)aμs,而不是动作的概率分。

2025-05-08 08:20:57 966 11

原创 构建最优的 RAG 检索增强生成系统:为你的数据集找到最优解

本文介绍了如何为数据集创建最佳的RAG(检索增强生成)管道。通过系统性地测试不同的参数组合(如分块大小、重叠度、检索数量)和策略(简单RAG、查询重写、重排),结合忠实度、相关性和语义相似度等评估指标,找出最适合特定数据集的RAG配置。实验结果表明,简单RAG策略在效率和效果上表现最佳。文章还提出了未来可进一步探索的方向,如测试更多模型、优化提示和混合搜索策略等。

2025-05-05 00:30:00 1226 44

原创 详解如何一步步拿下企业年报问答RAG挑战赛冠军

本文揭秘如何斩获企业级RAG挑战赛双料冠军的完整技术方案。面对100份千页PDF年报的极限解析任务,他创新性地组合了GPU加速解析、多级检索路由和LLM重排序等技术:先用改造后的Docling解析器40分钟完成文本提取,再通过"小块定位+整页返回"的检索策略平衡精度与上下文,最后用结构化提示词工程让GPT-4o-mini在2分钟内完成100道题的高精度作答。文章幽默呈现了与PDF格式的搏斗历程,揭示了表格序列化实验的反转结局,并强调冠军方案的核心在于对业务场景的深度理解

2025-04-15 00:00:00 7512 58

原创 详解如何复现DeepSeek R1:从零开始利用Python构建

本文详细介绍了从零开始构建 DeepSeek R1 的过程,涵盖了从基础模型选择、训练数据准备到多阶段训练的完整流程。首先,通过强化学习(RL)和 GRPO 算法训练出 R1 Zero,解决了基础模型的推理能力问题。接着,通过监督式微调(SFT)和冷启动数据,进一步优化模型的推理风格和语言一致性。最后,通过推理导向的强化学习、拒绝采样以及知识蒸馏等技术,不断提升模型的推理质量和实用性,最终得到高效且推理能力强的 DeepSeek R1 模型。整个过程不仅注重技术实现,还通过详细示例和代码,让读者能够清晰地理

2025-04-11 00:00:00 3711 58

原创 详解如何从零用 Python复现类似 GPT-4o 的多模态模型

在这篇博客中,我们从零开始构建了一个多模态模型,能够处理文本、图像、视频和音频,并根据文本提示生成图像。我们首先实现了 BPE 分词器,将文本分解为子词标记。接着,我们构建了一个基于 Transformer 的语言模型,能够生成文本。然后,我们将模型扩展为多模态,通过 ResNet 提取图像特征,并将这些特征与文本结合,使模型能够回答关于图像的问题。我们还展示了如何通过文本提示生成图像特征向量,并找到最接近的已知图像。整个过程不仅展示了多模态模型的强大能力,还揭示了其在实际应用中的潜力。

2025-04-10 00:00:00 14827 104

原创 如何使用 FastAPI 构建 MCP 服务器

哎呀,各位算法界的小伙伴们!今天咱们要聊聊一个超酷的话题——MCP 协议!你可能已经听说了,Anthropic 推出了这个新玩意儿,目的是让 AI 代理和你的应用程序之间的对话变得更顺畅、更清晰。不过别担心,为你的 Python 应用程序搭建一个这样的服务器并不复杂,甚至可以说简单到让你怀疑人生!想象一下,AI 就像你的私人助理,而 MCP 就是它和你家大门之间的钥匙。让 AI 去操心那些繁琐的逻辑吧,咱就负责躺平享受成果。不管你是想连数据库还是接 API,MCP 都能帮你搞定。

2025-03-31 11:20:36 2588 35

原创 使用Python从零开始构建千万级参数的大型语言模型(LLM)

徒手pytho撸出Transformer架构并一步步训练处一个LLM大模型

2025-03-22 00:15:00 1341 10

原创 图解LLM智能体(LLM Agents):构建与运作机制的全面解析

本文深入探讨了大型语言模型(LLM)智能体的构建与运作机制,涵盖其核心组件和多智能体框架。LLM智能体通过外部工具、记忆系统和规划能力弥补了传统LLM的不足,能够执行复杂任务并展示自主行为。文章详细介绍了记忆模块(短期与长期记忆)、工具使用(如Toolformer和MCP协议)以及规划与推理技术(如ReAct和Reflexion)。此外,多智能体系统的协作框架被提出,用于解决单一智能体在工具选择、上下文复杂性和任务专业化上的局限性。生成式智能体(Generative Agents)模拟人类行为的研究展示了多

2025-03-18 13:35:10 2102 5

原创 徒手打造个人AI Agent:基于DeepSeek-R1+websearch从零构建类Manus深度探索智能体AI-Research

该系统能够在预定义的主题上进行深入研究。研究计划:这意味着创建一个研究报告大纲,这将成为系统的最终输出。将上述内容拆分为可管理的步骤。对报告的各个部分进行深入研究。针对推理所需的数据,进行全面的分析,并利用网络搜索工具支持分析。反思研究过程中不同步骤生成的数据,并改进结果。总结检索到的数据,并生成最终的研究报告。今天,我们将实现上述所有步骤,而不使用任何LLM编排框架。首先,我们需要定义整个系统的状态,该状态将在代理运行过程中不断演变,并被系统的不同部分选择性地使用。

2025-03-16 00:15:00 1929 17

原创 【开源+代码解读】Search-R1:基于强化学习的检索增强大语言模型框架3小时即可打造个人AI-search

强化学习驱动检索:首次将RL应用于LLM与搜索引擎的多轮交互,突破传统监督学习限制。轻量化奖励设计:仅用结果奖励即可引导模型学习复杂检索策略。结构化生成框架:通过标记控制生成流程,兼容不同RL算法。

2025-03-13 13:57:02 3065 17

原创 从理解强化学习及其在 LLM 中的作用开始手把手教你构建DeepSeek-R1推理模型

本文深入探讨了强化学习(RL)在大型语言模型(LLM)训练中的应用,特别是通过人类反馈强化学习(RLHF)技术对齐人类偏好。文章重点介绍了组相对策略优化(GRPO)这一创新算法,其通过生成多个响应组、组内归一化优势计算和KL散度约束,显著提升了训练效率和稳定性。此外,本文详细解析了DeepSeek R1模型的四阶段训练流程,展示了其在数学和编程任务中的卓越表现。最后,文章还介绍了如何在TRL库中实现GRPO,并提供了配置参数、奖励函数设计和训练监控指标等实用建议

2025-03-05 01:15:00 1934 11

原创 MCTS-RAG:通过树搜索重塑小模型中的检索增强生成(RAG)

MCTS-RAG框架的核心思想是在推理过程中动态结合检索操作,探索多个推理路径,并在关键决策点评估中间状态。具体来说,框架在每个MCTS决策点设计了六种离散动作,包括直接回答、快速推理、分解问题、检索推理、检索分解和总结回答。这些动作帮助模型在推理过程中灵活地结合外部知识,从而提高准确性

2025-05-22 00:45:00 460 3

原创 理解大型语言模型中的 KV 缓存

大型语言模型(LLMs)在生成文本时,通常是一个词元(token)一个词元地生成,每次生成一个词元后,将其作为输入来预测下一个词元。然而,这种逐词生成的方式会导致模型在每一步中重复计算大量相同的工作,从而降低效率。为了解决这个问题,引入了 KV 缓存 技术。KV 缓存通过存储每个步骤中计算出的键(Key)和值(Value)向量,避免重复计算,从而显著提高模型的推理速度。尽管 KV 缓存会占用额外的 GPU 内存,但它在现代大型语言模型中被广泛应用,以优化生成效率。实验表明,使用 KV 缓存可以将生成速度提升

2025-05-22 00:15:00 944

原创 理解分层演员-评论家HAC算法:python从零实现

本文详细介绍了分层演员-评论家(HAC)算法,这是一种用于解决复杂、长期任务的分层强化学习方法。HAC 通过多级策略实现任务分解,高层设定子目标,低层执行动作以达成目标。其关键机制包括目标条件学习、内在奖励、事后目标转换以及离线学习。HAC 在网格世界环境中展示了其有效性,尽管学习过程复杂,但通过分层结构显著提高了样本效率和任务解决能力。该算法在机器人技术、导航和游戏玩法等领域具有广泛的应用前景。

2025-05-21 00:15:00 655

原创 特定领域 RAG中细调嵌入模型能否提升效果?

本文探讨了在特定领域 RAG(Retrieval-Augmented Generation)流水线中微调嵌入模型的作用,尤其是在检索和生成阶段的影响。通过结合微调嵌入模型和预训练嵌入模型,系统能够更有效地捕获和存储特定领域的上下文信息,从而提高语言模型生成响应的准确性和上下文理解能力。用户查询通过这两个模型处理,提取有意义的表示并检索最相关的上下文信息,随后传递给大型语言模型(LLM)生成响应并评估其质量。评估指标包括“答案相关性得分”和“上下文相关性得分”,这些分数通过仪表板可视化,帮助持续优化系统性能。

2025-05-20 14:02:40 502

原创 深入理解蒙特卡洛树搜索(MCTS):python从零实现

蒙特卡洛树搜索(MCTS)是一种基于模拟的规划算法,广泛应用于强化学习领域。与无模型强化学习不同,MCTS 依赖于环境模型进行未来轨迹的模拟,从而做出决策。其核心思想是通过引导式模拟逐步构建搜索树,利用统计信息(如访问次数和平均奖励)来平衡探索与利用。MCTS 的优势在于其随时可用性、非对称树增长、无需启发式评估函数以及可并行化特性。它特别适用于状态空间大、分支因子多且环境模型可用的场景,如游戏和规划问题。MCTS 的迭代过程包括选择、扩展、模拟和反向传播四个步骤,通过 UCT 策略选择动作,最终选择访问次

2025-05-20 00:15:00 741

原创 LLM 增强型搜索:下一代智能检索技术的崛起

本文深入探讨了 LLM 增强型搜索技术,这种结合了大型语言模型(LLM)、检索增强生成(RAG)和智能代理技术的新一代搜索引擎,能够提供更智能、更人性化的搜索体验。与传统搜索引擎相比,LLM 增强型搜索不仅能够理解语义上下文,还能通过多轮对话、个性化推荐以及多模态和跨语言检索等方式,直接为用户提供简洁准确的答案,而不仅仅是网页链接。文章详细介绍了其核心技术架构、工作流程和实现方法,并分析了当前技术的局限性,如在处理位置相关查询时的不足、RAG 功能的不完善以及缺乏有效的评估基准等。同时,文章也展望了未来的发

2025-05-19 05:00:00 1047 7

原创 知识图谱赋能大数据实战指南:从理论到实践的深度解析

本文详细介绍了如何利用知识图谱处理大数据,从数据获取、预处理到实体与关系的提取,再到知识图谱的构建与存储。通过使用Python及其相关库,结合LLM(大型语言模型)的强大能力,我们能够从海量新闻文章中提取有价值的实体和关系,并将其转化为结构化的知识图谱。此外,文章还探讨了知识图谱的可视化、查询分析以及如何通过嵌入技术进行链接预测,为后续的深入研究和应用提供了坚实基础。

2025-05-18 21:00:00 502

原创 用NLP搭建知识图谱:低成本打造RAG和GraphRAG的超酷秘籍

### 摘要本文介绍了一种利用自然语言处理(NLP)技术构建知识图谱的方法,用于实现混合RAG(检索增强型生成)和GraphRAG(图增强型检索)应用。作者提出了一种分层图架构,通过提取文本中的令牌、双词组和三词组,并利用小型本地LLM生成的三元组关系来增强图的语义连接。这种方法避免了对大型云模型的依赖,大大降低了成本,同时提高了检索的准确性和灵活性。实验结果表明,这种混合方法能够提供更全面和深入的答案,为大规模GenAI项目提供了新的解决方案。

2025-05-18 00:15:00 17

原创 三层固定实体架构:高效实现图上的检索增强生成(RAG)

本文介绍了一种用于构建知识图谱的三层架构,结合了固定本体实体、文档片段和提取的命名实体。该架构通过嵌入和余弦相似度提高检索效率,并允许在查询期间更精确地遍历图。第一层(FEL1)代表通过领域专家构建的本体“骨架”,第二层(DL2)由分块文档组成,第三层(SEL3)包括从文档中提取的命名实体。通过计算FEL1和DL2之间的余弦相似度建立连接,SEL3进一步增强了图遍历和检索精度。这种方法提供了一种可扩展且成本效益高的替代大型语言模型(LLM)的方案,符合当前检索增强生成(RAG)系统的发展趋势。

2025-05-17 20:30:00 284

原创 机器学习与人工智能:NLP分词与文本相似度分析

本文介绍了自然语言处理(NLP)中的基础技术,包括分词、文本预处理、词袋模型和余弦相似度。作者通过构建一个简单的Python NLP对象,展示了如何将文本数据转换为计算机可理解的格式,并计算文本之间的相似度。文章详细解释了分词、停用词去除、n-grams生成等预处理步骤,并介绍了词袋模型的基本概念。最后,作者通过余弦相似度公式,展示了如何衡量文本之间的相似性。本文旨在为读者提供NLP的基础知识,并鼓励读者通过DIY方式深入理解这些技术。

2025-05-17 00:15:00 1099 2

原创 基于固定实体架构的图知识库:为检索增强型生成(RAG)注入新动力

本文探讨了在检索增强型生成(RAG)系统中使用固定实体架构(Fixed Entity Architecture,FEA)构建知识图谱的方法。与微软的GraphRAG方法相比,FEA依赖预定义的实体和关系,形成领域本体的“鱼骨”结构,通过简单的数学技术而非大型语言模型(LLM)来构建图,降低了复杂性和计算成本,提高了精度和控制性。文章通过爱因斯坦的名言案例,展示了如何构建知识图谱、添加文档并进行检索。通过向量索引和混合搜索技术,实现了高效的文档检索和知识提取,为RAG应用提供了强大的支持。未来,进一步优化实体

2025-05-16 00:30:00 821 7

原创 深度理解用于多智能体强化学习的单调价值函数分解QMIX算法:基于python从零实现

QMIX 是一种用于合作式多智能体强化学习(MARL)的算法,旨在解决多个智能体在共享奖励环境中的功劳分配问题。其核心思想是通过价值函数分解,将团队的联合行动价值函数 $Q_{tot}$ 分解为各个智能体的效用函数 $Q_i$,并通过单调混合网络将它们组合起来。QMIX 采用集中式训练、分散式执行的范式,确保智能体在训练后能够独立行动。其优势包括有效处理功劳分配、可扩展性强、支持分散式执行以及能够捕捉智能体效用之间的复杂关系。QMIX 广泛应用于星际争霸多智能体挑战、协调游戏和多机器人协作等任务。

2025-05-16 00:15:00 810 1

原创 深度剖析LLM的“大脑”:单层Transformer的思考模式探索

本文深入探索了大型语言模型(LLM)的内部思考机制。通过训练一个单层Transformer模型,并结合稀疏自编码器技术,研究者们试图解读LLM的神经元激活模式。实验发现,经过稀疏处理后,部分神经元能够高度专注于特定概念,如特定语言的后缀、十六进制代码、情态动词等。这表明LLM在某种程度上能够像人类一样对不同概念进行区分和识别。尽管目前的研究仅基于小型模型,但它为理解LLM的“思考”方式迈出了重要一步,未来有望进一步揭示AI组织知识的奥秘。

2025-05-15 00:00:00 1575

原创 用PyTorch在超大规模下训练深度学习模型:并行策略全解析

本文深入探讨了使用 PyTorch 在超大规模下训练深度学习模型时的各种并行策略。从数据并行、张量并行到上下文并行、流水线并行、专家并行,再到 ZeRO 零冗余优化器,文章详细解析了每种技术的原理、实现方法、优点与注意事项,并结合 PyTorch 提供了丰富的代码示例。这些并行策略的组合运用,能够有效应对大规模模型训练中的内存和计算挑战,帮助研究人员突破传统硬件限制,实现更高效、更快速的模型迭代与部署,推动深度学习技术在大规模应用场景中的发展。

2025-05-14 09:52:21 1067 4

原创 量化感知训练与 PyTorch 的哪些事

量化感知训练(Quantization-Aware Training, QAT)是一种在模型训练过程中模拟量化效果的技术,旨在提高模型在低精度环境下的准确性。QAT通过在训练过程中引入“假量化”操作,使模型能够适应量化带来的噪声,从而在最终量化时保持较高的性能。与训练后量化(PTQ)相比,QAT需要更多的计算资源和时间,但通常能获得更好的准确性。QAT的工作流程包括准备阶段、训练阶段和转换阶段,其中训练阶段通过直通估计器(STE)处理梯度,使模型能够补偿量化噪声。PyTorch提供了多种量化模式

2025-05-13 18:54:55 1319 1

原创 Transformer自注意力机制中的缩放原理—— 读了绝对不后悔!

在自注意力机制中,缩放点积注意力的核心目的是控制注意力分数的方差,以确保SoftMax函数的稳定性。当计算查询(Q)和键(K)矩阵的点积时,随着向量维度的增加,点积结果的方差也会显著增大。这会导致SoftMax函数在处理高方差数据时,倾向于将大部分概率分配给极少数值,从而影响模型的性能。 为了解决这个问题,论文《Attention is All You Need》提出将点积结果除以键向量维度的平方根(√d_k)。这种缩放操作能够有效降低点积结果的方差,使其分布更加均匀,从而确保SoftMax函数能够更合理地

2025-05-13 00:30:00 1469 1

原创 理解多智能体深度确定性策略梯度MADDPG算法:基于python从零实现

多智能体强化学习(MARL)扩展了传统强化学习,适用于多个智能体在共享环境中交互的场景,这些智能体可能合作、竞争或目标混杂。MARL引入了单智能体设置中不存在的独特挑战,尤其是非平稳性问题,即智能体策略的不断变化导致环境对单个智能体显得不稳定。为解决这一问题,MADDPG(多智能体深度确定性策略梯度)算法应运而生,它采用集中式训练与分散式执行的范式,通过集中式评论家来缓解非平稳性,同时允许智能体在仅具备局部观察的情况下进行分散式执行。MADDPG的优势在于其能够应对复杂环境动态,适用于合作、竞争或混合设置,

2025-05-12 23:19:37 1370 7

原创 微调重排序模型:Reranking从入门到实践

本文是一篇关于微调重排序模型的初学者指南,详细介绍了如何通过微调提升检索系统的精度。文章首先解释了交叉编码器的工作原理及其在语义相似性、问答和信息检索中的应用,随后深入探讨了重排序在检索增强型生成(RAG)中的重要性,指出其能够优化检索结果的相关性。作者详细描述了如何准备数据,包括创建问答数据集和生成合成数据,并提供了完整的代码示例,涵盖模型微调、评估和部署的全过程。通过本文,读者可以快速掌握微调重排序模型的实用技巧,提升系统对检索文档的理解和排序能力。

2025-05-12 00:00:00 1496 22

原创 深入理解深度Q网络DQN:基于python从零实现

本文深入解析了深度Q网络(DQN)算法,它将Q学习与深度神经网络结合,解决了高维状态空间问题。DQN通过经验回放和目标网络等创新技术,稳定了学习过程。文章详细介绍了DQN的数学基础、关键组件及实现步骤,并通过自定义网格世界环境展示了其训练过程和学习效果。DQN为强化学习领域带来了突破,为后续更复杂的算法奠定了基础,是理解现代强化学习技术的关键。

2025-05-11 23:00:00 1307 3

原创 利用“Flower”实现联邦机器学习的实战指南

本文深入探讨了联邦机器学习(Federated Machine Learning)的概念及其应用,通过使用 Flower 框架,作者详细介绍了如何在不共享数据的情况下,利用多个医疗机构的数据安全地训练一个可以检测眼部疾病的机器学习模型。文章从数据集的准备、模型的训练与评估,到联邦学习的具体实现步骤,进行了全面的讲解,并展示了联邦学习在处理数据隐私和模型性能方面的优势。

2025-05-11 15:12:06 1252

原创 微调ModernBERT为大型语言模型打造高效“过滤器”

本文探讨了如何通过微调 ModernBERT 模型,为大型语言模型(LLM)打造高效且成本效益高的“安保”系统,以筛选用户查询。物流聊天机器人在上线后遭遇用户提出大量离题查询的问题,导致资源浪费和运营成本增加。文章分析了几种常见解决方案的局限性,如仅依靠系统提示过滤或使用专用 LLM 守门人模型,这些方法存在指令冲突、误报、校准困难和资源密集等问题。通过创建高质量训练数据集、多模型验证、人工细化标签以及高效微调 ModernBERT 模型,成功开发出一个精准高效的查询过滤系统,提升了性能并降低了成本

2025-05-10 23:00:00 2515 5

原创 微调领域嵌入模型Embedding:打造专属的自然语言处理利器

本文详细介绍了如何为特定领域(如医学、法律或金融)微调嵌入模型,以提升自然语言处理任务的性能。文章首先解释了嵌入模型的基本概念及其在语义相似性、文本分类和问答等任务中的重要性。接着,详细阐述了微调嵌入模型的全流程,包括数据集的创建、损失函数的选择、模型训练与评估。通过使用套娃表示学习(MRL)技术和强大的`bge-base-en`模型,文章展示了如何通过微调显著提升模型对特定领域语言和概念的理解能力。最终,通过实验验证了微调后模型在检索和生成任务中的性能提升,为构建高质量的领域专用自然语言处理应用提供了实用

2025-05-10 00:00:00 797 7

原创 信赖域策略优化TRPO算法详解:python从零实现

本文详细介绍了TRPO的数学原理、实现细节,并通过自定义网格世界的实验展示了其学习效果和稳定性。TRPO通过限制策略更新的幅度(使用KL散度作为约束)来确保策略性能的单调改进。它结合了共轭梯度法和线搜索技术,以高效地找到满足约束条件的策略更新方向。TRPO在连续控制任务和机器人模拟中表现出色,但由于其实现复杂,后来促成了更简单的PPO算法的发展。尽管如此,TRPO仍然是理解策略优化和现代强化学习算法的重要基础。

2025-05-09 16:04:26 1017 4

原创 从零开始理解FlashAttention:算法细节图解

介绍了 FlashAttention 技术,它通过优化 GPU 内存层次结构和融合内核,实现了快速且节省内存的精确注意力计算。文章分为两部分:第一部分介绍了注意力机制的基础知识以及 GPU 优化方法;第二部分深入讲解了 FlashAttention 的核心算法,包括如何分解 SoftMax 操作以支持分块计算,以及如何在前向和反向传播中高效处理中间结果。FlashAttention 实现了 7.6 倍的速度提升和 O(N) 的内存复杂度,同时保持了精确的注意力分数,极大地推动了大规模模型训练的效率和可行性

2025-05-09 12:16:23 776 2

原创 Off-Policy策略演员评论家算法SAC详解:python从零实现

软演员评论家(SAC)是一种最先进的Off-Policy策略演员评论家算法,专为连续动作空间设计。它在 DDPG、TD3 的基础上进行了显著改进,并引入了最大熵强化学习的原则。其目标是学习一种策略,不仅最大化预期累积奖励,还要最大化策略的熵。这种添加鼓励了探索,提高了对噪声的鲁棒性,通常与之前的 DDPG 和 TD3 方法相比,能够实现更快、更稳定的学习。SAC 学习三个主要组件(通常使用五个网络实现):与 DDPG 类似,它采用:标准强化学习旨在最大化预期折扣奖励总和:E[∑tγtR(st,at)]\ma

2025-05-08 17:00:00 1387 4

基于langchain/llamaindex的20多种RAG技术实现

一个全面的检索增强生成(RAG)实现集合,基于两大流行的AI框架LangChain和LlamaIndex,提供了20多种不同的RAG实现方案。这些实现覆盖了从基础到高级的各种RAG应用场景,旨在为开发者和研究人员提供丰富的参考和即用解决方案。 ## 核心特点 - **多样化的实现方案**:包含20多种不同架构和配置的RAG实现 - **双框架支持**:同时基于LangChain和LlamaIndex两大AI框架 - **模块化设计**:每个实现都是独立的,可轻松集成到现有项目中 - **场景覆盖全面**:从简单文档问答到复杂多模态检索应有尽有 - **最佳实践集成**:融合了RAG领域的最新研究成果和工程实践 ## 技术栈 - **核心框架**:LangChain, LlamaIndex - **语言模型**:支持多种LLM(如GPT, Claude, LLaMA等) - **向量数据库**:Pinecone, Weaviate, FAISS, Chroma等 - **数据处理**:多种文档加载器和文本分割策略 - **高级特性**:查询改写、重排序、混合搜索等 ## 适用场景 本项目适合: - 希望快速实现RAG功能的开发者 - 需要比较不同RAG架构效果的研究人员 - 想要学习RAG最佳实践的学生和爱好者 - 为企业应用评估RAG解决方案的技术决策者 ## 项目结构 每个实现为一个独立的md文件包含完整的代码、配置说明,让您可以快速运行和测试不同方案的效果。我们提供了详细的文档说明每种实现的优缺点和适用场景。 通过这个项目,您将获得关于如何构建高效、可靠的RAG系统的全面知识,并能够根据具体需求选择最适合的实现方案。

2025-04-22

可视化详解与实战实现Corrective RAG代理工作流​

基于llama_index实现自我纠正RAG

2025-04-15

python源代码详解检索增强生成(20+RAG技术复现)

采用系统化且实用的方法对**检索增强生成(RAG)**进行讲解,将复杂的高级技术分解为易于理解的实现步骤。该实现并未依赖诸如 `LangChain` 或 `FAISS` 等专用框架,而是完全基于常见的 Python 库(如 `openai`、`numpy` 和 `matplotlib` 等)构建。其目标明确:提供简洁、清晰且易于阅读、修改与学习的代码示例。通过聚焦于基础原理,该项目有效降低了 RAG 技术的理解门槛,帮助用户深入掌握其工作机制。

2025-04-14

langchain RAG from scratch

从零基础开始使用 LangChain 实现检索增强生成(RAG)的课程

2025-04-14

DATA SCIENCE PDF 数据科学 PDF

数据科学 PDF(530 多页),其中包含 150 多个核心数据科学/机器学习课程。

2025-04-14

大型语言模型、预训练模型与嵌入模型的选型指南及应用场景解析

内容概要:本文详细介绍了大型语言模型(LLMs)、预训练模型和嵌入模型的区别及其各自的应用场景。首先阐述了三者的特性和优势,接着讨论了它们在不同任务中的适用性,如对话系统、文本分类和聚类等。文中通过对比性能指标、资源需求、可扩展性和定制能力,帮助读者理解如何根据具体需求选择最优模型。最后,通过三个真实的案例研究展示了不同类型模型的成功应用,进一步明确了各自的优劣。 适合人群:从事自然语言处理(NLP)及相关领域工作的研究人员和技术人员,尤其是需要选择和部署AI模型的从业者。 使用场景及目标:①帮助读者理解大型语言模型、预训练模型和嵌入模型的特点;②指导读者根据任务复杂性、资源限制等因素选择合适的模型;③提供具体的实施步骤和代码示例,便于实际操作。 其他说明:文章不仅涵盖了理论层面的知识,还包括了实际应用中的经验分享和技术实现的具体方法,是一份兼具深度和广度的参考资料。

2025-04-01

基于Label Studio的文档标注方法及应用场景

内容概要:本文档详细介绍了利用 Label Studio 进行文档标注的具体流程与配置方法。主要包括系统环境搭建与Label Studio安装指引,随后依次讲述了从项目创建、数据加载直至数据导出及格式转换等步骤的操作指南,并深入探讨了实体、关系抽取与文档分类等多种任务类型的设置与执行。此外还提供了额外配置选项以供灵活调整任务细节。 适合人群:从事机器学习相关工作的专业人士,尤其侧重于信息提取与自然语言处理的应用开发人员和技术爱好者。 使用场景及目标:帮助开发者掌握高效、精确地准备用于训练深度学习模型所需的数据集的技术能力。能够支持诸如金融票据、法律文件以及其他结构化文本资料中的重要元素识别等工作需求。 其他说明:文中涉及大量实战案例展示,附带源码片段便于理解和操作演示。强调了合理的负样例构造对于提高特定类型AI模型性能的作用,并提供了关于比例分配等方面实用建议。

2025-03-25

图数据库基准测试:TigerGraph与其他图数据库的性能对比及优势解析

内容概要:本文档详细评估了 TigerGraph 与其他图数据库(如 Neo4j、Amazon Neptune、JanusGraph 和 ArangoDB)在数据加载和查询性能方面的表现。测试环境使用相同的 Amazon EC2 硬件平台,并通过加载和查询两个不同规模的数据集(Graph500 和 Twitter 用户跟随关系图)来衡量性能。测试内容包括数据加载时间和效率、加载后的磁盘存储空间、单节点及分布式环境中各种复杂图遍历查询的响应时间。结果显示,TigerGraph 在各个方面表现出显著优越的性能,尤其是在大规模并行处理和存储效率方面。 适用人群:从事图数据库及其应用的开发人员、研究人员及技术决策者。 使用场景及目标:通过具体的性能数据和实际用例,为图数据库的选择和技术选型提供参考依据,特别是对于需要高效处理大量关系数据的应用场景。 其他说明:所有测试代码及相关配置均可在官方 GitHub 页面获取,方便重现。文中提到 TigerGraph 在欺诈检测、医疗保健等多个行业的应用场景,突显其广泛的商业价值。

2025-03-25

RAG学习RL测试数据集

RAG 测试pdf文件,配套《动手实现各类RAG》专栏,不借助任何RAG现成框架,徒手撸python实现各类RAG功能、增强技术等https://blog.csdn.net/qq_36603091/category_12923460.html?spm=1001.2014.3001.5482

2025-03-25

企业AIGC商业落地应用解析:技术进步引领企业服务创新与优化

内容概要:本文聚焦于生成式人工智能(AIGC)技术的发展及其在企业层面的应用前景。首先阐述了AIGC的核心概念及对其市场全貌的认识,探讨了各类服务商的角色和选择依据,并分析了AIGC可能改变的传统场景及新模式。文中指出,AIGC不仅革新了市场营销手段,还在客服、办公自动化等多个领域提供了新的解决方案。尤其值得注意的是,它能够在降低成本的同时提升用户体验,并通过深度集成进入企业的现有数字架构,实现快速高效的业务转型。 适合人群:对AIGC感兴趣的企业管理者和技术从业者,特别是那些希望借助先进AI技术推动业务增长或改进内部运作效率的人士。 使用场景及目标:文章适用于希望理解AIGC如何帮助企业应对挑战并抓住机遇的情境。通过了解具体的实施案例,如营销内容自动化、客户服务智能化等,可以使企业找到适合自己情况的应用切入点,促进创新发展。此外,文章还有助于制定合理的投资策略,评估采用AIGC所带来的潜在收益。 其他说明:本文还涉及不同类型的收费模式对中小型和大型企业在应用时的选择启示,强调数据安全性和系统兼容性为两大重点考量因素。为了最大化发挥AIGC的作用,建议企业培养相关技术团队并重视长远规划

2025-03-24

基于单元格分割OCR及插图检测的表格识别算法

基于单元格分割OCR及插图检测的表格识别算法

2025-03-24

RAG技术体系全解析:发展脉络、框架演进与增强技术

算法部门内部RAG学习交流分享

2025-03-23

RAG 测试pdf文件,配套《动手实现各类RAG》专栏,不借助任何RAG现成框架,徒手撸python实现各类RAG功能、增强技术等

RAG 测试pdf文件,配套《动手实现各类RAG》专栏,不借助任何RAG现成框架,徒手撸python实现各类RAG功能、增强技术等https://blog.csdn.net/qq_36603091/category_12923460.html?spm=1001.2014.3001.5482

2025-03-20

招标投文本NER/REL数据集-中标单位与金额解析及其关联信息整理

内容概要:本文提供了大量的招标投标相关数据片段,涵盖的内容广泛,主要包括了各种类型的项目如工程类、设备采购、服务外包等。这些数据片段详尽展示了不同中标单位、金额及对应的关系。例如,在中标情况方面有多个中标单位的具体名称及各自对应的金额。此外还有对特定项目的开标时间和地点、合同签订和公示截止日期、预算金额和工程建设地点等一系列具体参数的数据记录。所有中标信息都明确了各单位中标的产品或项目、中标金额和关联单位地址等重要细节。 适用人群:本文适合于需要掌握详细项目运作情况的专业人士,包括但不限于参与政府、企事业单位采购部门工作人员以及招投标领域的研究人员或从事审计监察工作的相关人员。 使用场景及目标:本文可用于了解某个特定地区或某项业务领域的市场竞标动态及趋势走向;对于想了解某行业市场参与者竞争态势的人群而言非常有用;同时还可以用于学习如何解读官方发布的招投标结果通告,以作为实际工作参考。 其他说明:文中包含了大量的实际项目实例,这有助于读者更加直观地理解和分析各类信息之间的关系。此外还提供了完整的数据链以便追溯每一个中标背后的详细流程与规定。通过对这些数据的学习可以提升用户对该领域的认知水

2025-03-17

面向统一端到端模型的下一代光学字符识别理论与GOT-OCR-2.0模型解析

内容概要:本文介绍了一种全新的光学字符识别(OCR)系统——OCR-2.0及其代表性模型GOT。传统的OCR系统由于模块化的复杂流程导致高昂维护成本和低效的文本感知能力。GOT模型拥有5.8亿参数,集成了高效压缩编码器与长上下文解码器,在处理多类型的文本识别上具有优越性能,支持常见图像类型和复杂的任务如乐谱、化学公式、图表、甚至几何图形。它还支持动态分辨率以及多页OCR,并能在高交互性和特定区域识别上表现出色。作者通过对不同模型的对比实验展示了该模型的有效性和实用性。 适用人群:对OCR研究和应用感兴趣的学术研究人员、从事文字识别领域的软件开发者和技术爱好者。 使用场景及目标:主要适用于科研论文转换成PDF文档、文献档案数字化、表格公式的结构化抽取等各种场景中的高质量文字识别需求。此外还包括需要高级OCR特性的场景比如细粒度文档理解、图表提取、以及批量PDF处理等方面。 其他说明:文章强调了OCR的发展方向是从传统单一功能向更加综合全面的方向转变,并提出了未来工作的改进建议,例如支持更多语种及其他特殊字符形态。同时提供大量详实的数据来源说明和实验结果比较,论证了所提出方法的优势。

2025-03-13

基于Label Studio的文本标注工具及其实现自然语言处理任务的操作手册

内容概要:本文档提供了利用Label Studio进行文本标注的具体操作步骤,涵盖了安装配置方法、多种标注类型的创建、数据准备、标注过程以及最后数据导出和转换。重点阐述了不同任务,比如命名实体识别、关系抽取、事件抽取、文本分类、句子女情感分类以及实体/评价维度分类的实现方法。并且深入解析了这些自然语言处理(NLP)应用过程中的一些注意事项和技术细节,尤其是关于prompt构造的原则及其如何影响模型性能。 适合人群:从事自然语言处理领域的研究人员、工程师和相关专业学生,以及希望借助Label Studio开展高质量语料加工的技术团队。 使用场景及目标:该文档主要用于指导如何快速有效地建立起自己的文本标注平台来支持下游机器学习项目的推进;确保用户可以独立完成整个流程,从而为模型训练提供高质量的数据资源。同时,帮助开发者更好地理解UIE框架的需求并优化标注方案。 其他说明:本文档不仅介绍了一般性的操作步骤,还针对特定的配置选项给予了详细的解释,使得即便是初次接触Label Studio或者PaddlePaddle平台的新手也能顺利地执行各种复杂的文本标注任务。它强调了一些关键点如合理的提示词

2025-03-12

使用DeepSeek进行高效学习、工作与旅行规划的经验与技巧详解

内容概要:本文详细讲述了用户如何借助AI助手DeepSeek进行高效的学习、工作和娱乐活动,包括为幼儿制定全英语教育课程,设计系统的西班牙语学习计划以及规划一次安全舒适的西班牙旅行,涵盖了使用和提问的具体策略和心得分享。DeepSeek不仅展示了强大的逻辑思考和推理能力,而且其出色的结构化表达和针对性强的答案让人赞叹。文中列举了大量的实际案例和应用场景,突显了该工具的强大功能性。 适合人群:想要提升自身效率的上班族、正在学习新的语言和技术的学生,以及有兴趣深入了解如何有效利用AI进行日常生活的规划与优化的人群。 使用场景及目标:适用于各类涉及学习新知识、项目策划、个人发展等方面的需求。尤其当您希望通过有效的沟通方式获取更高质量的回答,并且希望通过实践来不断提升自己时,DeepSeek 是非常好的工具。 其他说明:值得注意的是,为了得到最好的交互体验,用户应当提供足够的背景信息和明确的需求描述;对于不确定的部分持续追问也能进一步获得更加详尽的帮助。总之,本文旨在通过具体的应用案例帮助读者更好地理解和运用DeepSeek。

2025-03-11

从零构建RAG-基于提示连接检索增强生成与LLM的技术解析及应用场景

内容概要:本文作者 Lance Martin 是来自 LangChain 公司的软件工程师。文档首先解释了RAG(Retrieval-Augmented Generation,检索增强生成)的动机,即通过引入文档资料到LLM的语境窗口来提升机器理解和作答复杂度的能力。之后深入浅出地介绍了如何利用prompt将文档搜索检索系统与大型语言模型(LLMs)进行链接,并附有实例网站参考资料供读者进一步学习。最后,文中提供了详细的代码演示,有助于理解整个过程的实际运作方法。 适合人群:对AI对话系统有兴趣并具有一定程序背景的开发者和技术爱好者。 使用场景及目标:帮助研究者和技术工作者更好地掌握RAG技术及其具体实施手段,提高问答系统的精度和服务质量。 阅读建议:本材料旨在引导读者理解从无到有创建RAG的基本概念以及操作流程,在实践的同时可以参阅提供的案例网站链接来加深对RAG的理解。同时也可以跟着代码讲解进行实际编码尝试,体验LLM驱动的应用开发魅力。

2025-03-11

自然语言处理技术在金融资管领域的落地实践

自然语言处理技术在金融资管领域的落地实践

2025-03-11

区块链应用与测试:涵盖用户注册页面测试、文档分类及应用部署

内容概要:本文详细介绍了区块链应用的不同方面,其中包括了针对一个即将开发的用户论坛进行的用户注册页面测试,明确了测试设计的具体要求和答案,如用户名有效和无效等价类的界定。接下来是对各种开发文档(开发计划、需求说明书)、产品文档(产品手册、用户指南)及管理文档(进度记录)的分类,以及如何运用 Git 版本控制工具协同编辑文档。此外,还讲述了区块链系统的单节点区块验证过程,包括五个具体的检查点(时间戳、随机数、哈希值、链链接和交易有效性),并且提供了一个简单的 Flask Web 服务器构建示例和区块链系统交易对象属性解释,如发送方和接收方地址及其数字签名等内容。 适合人群:对于想要深入了解区块链测试方法、Git 操作、区块链应用程序开发,尤其是关注用户注册页面测试和单节点区块链系统区块验证的技术人员和学生而言非常有用。 使用场景及目标:旨在帮助读者掌握用户界面功能验证的方法论,提高区块链应用程序的安全性和稳定性。同时让开发者更好地管理多份技术文档,优化项目的开发流程,并能够初步了解 Flask 框架的应用。最后,为深入研究区块链系统底层架构提供了基础理论和实践指引。 其他说明:文档

2025-03-11

推理模型构建:四种主要方法和技术进展综述

内容概要:本文全面解析了构建和改进推理模型(推理能力增强的大规模语言模型,LLM)的四种主要方法:推理时间扩展、纯强化学习(RL)、监督微调加强化学习(SFT + RL),以及纯监督微调和蒸馏(Distillation)。文中介绍了 DeepSeek团队通过这几种方法开发出的多个模型,特别是在不同应用场景和预算条件下的实践效果。文中不仅讲解了各个技术的优势与局限,还包括对模型训练成本、开发难度、效率等方面的专业讨论。 适合人群:对自然语言处理、推理模型构建感兴趣的科研工作者、工程师及研究生。 使用场景及目标:①帮助研究者掌握不同类型推理模型的特点和优劣,从而选择最适合的应用方法;②引导开发者根据自身条件制定高效合理的建模计划,尤其是面对复杂问题或有限预算时;③为有兴趣了解前沿AI技术和模型架构的学习者提供有价值的参考资料。 其他说明:本文提供了丰富的实例和技术细节,涵盖了目前主流的技术手段和发展方向。同时也对比了几款知名推理模型,如 DeepSeek-R1和疑似 OpenAI的 o1,并对未来发展趋势提出了预测。作者希望通过此文激发更多关于低成本高质效推理模型的研发思路。

2025-03-10

智能投标领域的星火投标平台-利用大模型技术提高编标效率与标书质量的应用指南

内容概要:本文介绍了一款面向投标的专业工具——星火投标。该平台依托星火大模型技术,实现了从投标所需的各种资信材料自动化解析到通过知识图谱生成投标方案的一站式解决方案,涵盖高精度投标文件创作、以及自动检测和纠正标书中潜在缺陷的功能,以此提升编标工作的速度和精准度,最终增加企业的中标几率。特别适用于建筑、能源、制造等多个行业的工程项目招投标工作中。 适合人群:参与各类大型复杂投标项目的从业人员及其负责团队,包括但不限于项目管理人员、合同专家和其他需要准备高质量标书的专业人士。 使用场景及目标:该软件能够帮助客户在短时间内高质量地完成标书制作任务。它可以自动分析以往的成功案例及相关文档资料来辅助新的标书创建工作,确保新文档与既往成功的投标保持连贯性和专业水平;另外它还具备智能化检查功能,用来发现可能存在的错误点并及时给出改进意见。 其他说明:星火投标平台的具体操作方法非常友好简单,在官网提供的详细指导下,即使是初学者也能迅速上手,并且提供了多途径客服支持选项以确保用户体验流畅无阻。

2025-03-10

智慧政策系统的多功能综合应用及其实现方案-聚焦文件解析、知识图谱和智能问答

内容概要:本文介绍了智慧政策系统的总体架构及其具体模块功能。它是一个涵盖政策信息查询、自动测评及反馈、智能化处理与分析等多方面的集成平台。尤其针对当前政务信息化改革的需求,系统利用前沿的大数据、自然语言处理(NLP)等AI技术支持,如通过paddleOCR、Layoutreader等技术处理各类公文;同时运用文本解析、关键字提取等方式整理并归类相关信息建立知识库;借助向量化索引提高搜索性能,并通过实体及联系建立知识图谱以便用户更好地理解和利用数据。此外还提供了基于LLM的语言模型问答服务以及企业专属财税福利计算器等功能。最终实现了高效、全面的服务政府机关到民间团体乃至个人的目标。 适合人群:政府官员、政策研究专家、企业和机构决策者、技术人员和其他希望了解如何运用先进技术优化公共信息服务的相关从业者。 使用场景及目标:本系统适用于需要获取最新最全政策动向的单位和个人,在面对复杂繁琐的官方文书时希望能够得到便捷有效的指引和支持的人群尤为适用。其主要目的在于打破信息孤岛,增强政令传达效率的同时也让受益群体更容易享受到应有的权益保护和服务质量。 其他说明:文中特别强调了对政策内容深入分析和技术

2025-03-03

DeepSeek高效使用技巧:职场、学术、自媒体的内容生成与问题求解利器

内容概要:文章探讨了深受欢迎的AI工具DeepSeek的有效利用方法。文中指出多数使用者未能发挥其最大价值主要是由于不当提问导致的非有效回应。为此,本文通过实例展示了一个简化的但极为有效的“4步提问法”,该方法包括明确提问者的身份背景、设定具体的任务内容、加入必要的细节约束以及指定所需的输出格式。对于不同的群体,如职场白领制作报告或PPT、大学生进行文献查阅或优化论文,乃至网络自媒体工作者撰写个性化博客或推广文案等方面,给出了详尽的应用指导,并强调了如何根据应用场景调整询问方式从而获得最佳效果。 适用人群:适用于想要改善与优化自身工作效率,或是寻求更优质的学术研究支持,亦或是期望通过网络媒体创作吸引观众并增强影响力的各界人士。 使用场景及目标:无论是为了在工作场合中展现专业的数据分析、报告制作等技能;还是为了帮助学生快速准确地搜索相关资料并且有效避免学术不端行为(如查重率过高),又或者是为个人或品牌的自媒体平台创造出更具创意性、话题性的高质量文章,此文中介绍的方法都能极大地提升使用者对DeepSeek这一强大工具的认知度及其实际应用效能。 其他说明:值得注意的一点在于,当使用该公式式的

2025-03-01

DeepSeek内部科普材料

DeepSeek内部科普材料旨在向用户和相关人员介绍DeepSeek的技术背景、功能特点及使用案例等。

2025-03-01

语音对话大模型及其基准测试的全面综述与最新进展

内容概要:本文档对语音对话大模型进行了系统性的总结,涵盖了最新的研究论文和技术资源。首先介绍了通用音频、语音和音乐理解模型(如LTU、SALMONN等)的研究成果,并讨论了联合音频和语音理解的进展。接下来探讨了几项重要的端到端语音对话系统模型(如SpeechGPT、VITA、Moshi等),并对其核心技术进行了详细解析。文档还涉及了多项基准测试(Benchmark)工具,如AIR-Bench、SD-Eval、AudioBench等,为评估模型性能提供了参考依据。最后,文档介绍了全双工建模技术,旨在实现实时对话系统(例如MiniCPM-duplex、SyncLLM)。此外,还包括两份关于语音语言模型近期发展的综述性文献。 适用人群:从事自然语言处理、语音识别、人机交互以及深度学习领域的研究人员、学生或相关从业者。 使用场景及目标:适用于希望深入了解语音对话大模型架构、算法改进及实际应用效果的专业人士。帮助读者获取当前最前沿的技术资料,指导未来研究方向。 其他说明:此文档汇集了大量高影响力的会议论文和技术报告链接,便于进一步深入学习和探索相关领域知识。同时列出了一些开源项目地址,方便感兴趣

2025-03-01

DeepSeek15天指导手册

DeepSeek15天指导手册

2025-02-14

DeepSeek如何赋能职场应用?从提示语技巧到多场景应用-清华大学

DeepSeek如何赋能职场应用?从提示语技巧到多场景应用-清华大学

2025-02-14

DeepSeek从入门到精通-清华大学-202502

DeepSeek从入门到精通-清华大学-202502

2025-02-14

OpenAI官方文档《提升推理能力的最佳实践》

OpenAI官方文档《提升推理能力的最佳实践》

2025-02-14

入门深度学习--探秘lstm

一次部门内部分享的PPT

2021-01-06

自适应确定DBSCAN算法参数的算法研究_李文杰.pdf

传统DBSCAN算法需要人为确定Eps和MinPts参数,参数的选择直接决定了聚类结果的合理性,因此提出一种新的自适应确定DBSCAN算法参数算法,该算法基于参数寻优策略,通过利用数据集自身分布特性生成候选Eps和MinPts参数,自动寻找聚类结果的簇数变化稳定区间,并将该区间中密度阈值最少时所对应的Eps和MinPts参数作为最优参数。实验结果表明,该算法能够实现聚类过程的全自动化并且能够选择合理的Eps和MinPts参数,得到了高准确度聚类结果。

2020-04-02

pyltp安装wheel文件

完美解决python3.6安装pyltp出现的各类错误,各类vs错误,编译错误均可完美解决

2018-08-23

文本挖掘技术——北大杨建武教授

教授的文本挖掘技术课程ppt 包含文本情感分析 特征提取

2018-06-28

机器学习实战 英文版

MachineLearning机器学习实战 英文版 机器学习 大数据 深度学习 人工智能

2017-10-23

数据挖掘与机器学习 WEKA应用技术与实践 完整版

详细讲解weka,机器学习算法 书籍完整版 推荐下载 作者:袁梅宇出版社:清华大学出版社出版时间:2014年07月

2017-09-28

税务数据挖掘论文

有关税务税局挖掘的论文 包含逻辑回归 svm som、在税务稽查方面的应用 ,该资料包下载自知网,论文大部分是硕士论文及期刊论文 打开请用知网caj阅读器

2017-09-27

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除