- 博客(698)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 DeepSeek-R1复现方案梳理
在 100 步时，解方程的成功率约为 25%，并且模型开始用文字进行 “推理”;近日，来自UC伯克利的研究团队基于Deepseek-R1-Distilled-Qwen-1.5B，通过简单的强化学习（RL）微调，得到了全新的DeepScaleR-1.5B-Preview。由huggingface组建，目前刚上线2周，发布了最新进展open-r1/update-1，在MATH-500任务上接近deepseek的指标，可以在open-r1/open-r1-eval-leaderboard查看指标的排行榜。
2025-02-12 22:36:59
1263
原创 从零搭建机器学习平台Kubeflow
来自官网的一段介绍： Kubeflow 项目致力于使机器学习 (ML) 工作流在 Kubernetes 上的部署变得简单、可移植和可扩展。Kubeflow的目标不是重新创建其他服务，而是提供一种直接的方法，将用于 ML 的同类最佳开源系统部署到不同的基础设施中。在任何运行 Kubernetes 的地方，开发者都应该能够运行 Kubeflow。从官网这段介绍可以看出，Kubeflow与Kubernetes是形影不离的。
2022-12-25 03:59:33
9850
5
原创 Python人工智能之图片识别，Python3一行代码实现图片文字识别
自学Python3第5天，今天突发奇想，想用Python识别图片里的文字。没想到Python实现图片文字识别这么简单，只需要一行代码就能搞定#作者微信：2501902696from PIL import Imageimport pytesseract#上面都是导包，只需要下面这一行就能实现图片文字识别text=pytesseract.image_...
2017-09-20 14:15:00
24174
原创 告别碎片化！两大先进分块技术如何提升RAG的语义连贯性？
研究领域：检索增强生成（Retrieval-Augmented Generation, RAG）系统，结合自然语言处理（NLP）与信息检索技术。重要性RAG通过动态整合外部知识，解决了传统大语言模型（LLMs）依赖静态预训练数据的局限性。在开放域问答、实时信息生成等场景中，RAG能显著提升生成内容的准确性和信息完整性。对知识密集型任务（如医疗问答、法律分析）至关重要，需高效管理大规模外部文档。
2025-04-29 23:11:55
339
原创 Qwen3 系列的后训练技术
阿里今日推出新一代开源大模型Qwen3系列，在代码、数学、通用能力等基准测试中达到顶级模型水平（如DeepSeek-R1、o1、Grok-3等）。
2025-04-29 13:39:07
384
原创 DeepWiki：强烈建议每个程序员都用上，Github源码阅读神器！
TrustRAG的DeepWiki地址：https://deepwiki.com/gomate-community/TrustRAG。TrustRAG的Github地址：https://github.com/gomate-community/TrustRAG。DeepWiki地址：https://deepwiki.com/感觉写了一份非常高质量的项目文档。
2025-04-27 23:06:26
507
原创 txtai：全能AI框架
tetxtai是一个用于语义搜索、大型语言模型编排和语言模型工作流的全能AI框架。txtai 的关键组件是一个嵌入数据库，它结合了向量索引（稀疏和密集）、图网络和关系数据库。这个基础使得向量搜索成为可能，或者作为大型语言模型（LLM）应用程序的强大知识源。构建自主代理、检索增强生成（RAG）流程、多模型工作流等更多功能。🔎 带有SQL、对象存储、主题建模、图分析和多模态索引的向量搜索📄 为文本、文档、音频、图像和视频创建嵌入。
2025-04-25 23:28:59
779
原创 RAG5个常见错误
你的查询可能只是一个句子，但你的文档存储包含整页的文章？但是，如果你和你的朋友用"苹果"作为暗号，嵌入模型无法知道这一点。因此，我们使用专门的大型语言模型(LLM)作为重排器，对获取的上下文进行重新排序，并进一步过滤，只找出最相关的分块。对于客户聊天机器人，你可能需要授予RAG访问部分客户数据库的权限，这可能是一个关系型数据库。如果你将教科书分解成更小的部分，可能每一部分只讨论一个主题，那么你只需获取与问题相关的信息。对于通用应用，你可以使用向量存储，但当向量存储中没有可用信息时，你可以搜索互联网。
2025-04-25 23:15:53
813
原创 你敢信！LoRA也能训练出强大的推理模型——Tina让小模型“智商爆表“
Tina: 低成本高效的推理能力小型语言模型在大模型时代，人们常认为只有参数量庞大的语言模型才能具备强大的推理能力。然而，一项名为Tina（Tiny Reasoning Models via LoRA）的研究颠覆了这一观念：通过巧妙运用LoRA技术，研究团队用不到10美元的训练成本，让一个仅有1.5B参数的小模型在推理能力上媲美甚至超越了同类全参数训练的最先进模型！这一惊人成果不禁让人发问：推理能力的提升真的需要消耗大量计算资源吗？
2025-04-24 11:24:20
828
原创 PageIndex：构建无需切块向量化的 Agentic RAG
你是否对长篇专业文档的向量数据库检索准确性感到失望？传统的基于向量的RAG系统依赖于语义相似性而非真正的相关性。但在检索中，我们真正需要的是——这需要。当处理需要领域专业知识和多步推理的专业文档时，相似度搜索常常不尽人意。提供了更好的选择：让大语言模型能够思考和推理，找到最相关的文档部分。受AlphaGo启发，我们提出使用树搜索来执行结构化文档检索。是一个文档索引系统，它从长文档构建搜索树结构，为基于推理的RAG做好准备。由开发。
2025-04-22 18:00:09
947
原创 检索增强生成（RAG）的最新发展：一文汇总11种新型RAG算法！
RAG技术通过将外部知识融入大型语言模型（LLM）的生成过程，极大地提高了AI系统的事实准确性和可靠性。如今，RAG正向更具智能性和自主性的方向发展，能够处理像超图这样的复杂结构，并适应各种专业领域的需求。这11种新型RAG技术代表了当前研究的前沿，它们不仅提高了AI系统的事实准确性，还扩展了这些系统处理复杂任务的能力范围。随着技术的不断进步，我们可以期待RAG系统在准确性、效率和适应性方面取得更大的突破，为人工智能的发展开辟新的可能性。本文将介绍11种最新的RAG类型，展示这一技术领域的创新前沿。
2025-04-21 22:42:23
484
原创 强化学习框架verl源码学习-快速上手之如何跑通PPO算法
GSM8K（Grade School Math 8K）是一个包含8,500个高质量、语言多样的小学数学文字问题的数据集。该数据集旨在支持需要多步推理的基础数学问题解答任务。
2025-04-21 17:04:19
857
原创 RAG 与 MCP 如何以不同方式解决大模型的局限性
Claude和GPT-4o等大型语言模型 (LLM) 功能强大，但也面临两个主要限制：它们包含的知识是（更具体地说，是在训练时点固定的），并且决定它们一次可以处理多少信息的是有限的。(Retrieval-AugmentedGeneration, RAG) 和(Model Context Protocol, MCP) 是两种可以解决这些限制的方法。在本文中，我们将简短概述这两种方法的工作原理，以及区分它们的一些差异。
2025-04-20 18:57:13
739
原创 实战教程来了！从零开始打造MCP+Ollama集成
模型上下文协议MCP与Ollama的整合实现指南在过去一两个个月里，模型上下文协议（Model Context Protocol，MCP）频繁出现在各种技术微信交流群中。我们已经看到了许多很酷的集成案例，大家似乎相信这个标准会长期存在，因为它为大模型与工具或软件的集成设立了规范。前面一篇文章给大家分享了MCP一些基础概念，但是读完之后还是模棱两可，所以决定尝试将Ollama中的小型语言模型与MCP服务器连接起来，体验一下这个新标准。今天，向大家展示如何实现Ollama与MCP服务器的集成。
2025-04-19 23:35:39
742
原创 EasyDoc文档解析API，实测体验分享
基于语义智能识别内容块，精准提取完整知识单元，为AI应用提供高质量的语料，提升模型的理解能力。EasyDoc优点的话相比开源工具，一个做的比较好的就是可以支持层次结构分析，之前试了一些工具基本上只能识别出一级标题，其次对图表内容基于VL去做了识别解析，可能其他工具也有，但是单独部署一个多模态模型成本还是比价高的，这个相对方便一些。其次就是在后台工作空间我们可以实时看到解析精度，对于低代码用户很方便。
2025-04-18 01:45:29
1010
1
原创 一文详解模型上下文协议MCP
它提供了一套通用规则，允许任何客户端与任何服务器通信，而无需考虑组件的构建者，从而为多样化和可互操作的 AI 生态系统奠定基础。在另一种情况下，作为客户端开发者，你必须根据自己的需求定制服务器，其他人也无法为你的平台构建应用。是的，但是协议确保开发者以统一的方式定义和调用工具，从而更容易开发客户端（宿主应用）和服务器（集成）。MCP 的核心是使用 JSON-RPC 2.0 作为其消息传递格式，为客户端和服务器之间的通信提供了一种标准化的方式。作为一个相对较新的协议，MCP 的生态系统仍在发展中。
2025-04-18 00:33:38
1122
原创 谷歌的A2A到底是什么东西？
在当今快节奏的世界中，许多企业都在使用 AI Agent（人工智能代理）来自动处理任务。A2A 协议由 Google Cloud 牵头制定，是一个开放标准，旨在为 Agent 之间的协作提供通用语言，从而提高生产力并降低集成成本。Google 的这项举措确立了一个标准的 AI Agent 通信协议，并展示了如何让 Agent AI 变得更加实用。在本文中，我们将深入探讨 A2A 协议，了解它的作用、工作原理等等。
2025-04-17 04:00:30
609
原创 RAG 真的已死？为什么大上下文窗口还不够（至少目前如此）
OpenAI 最近发布的 GPT-4.1 震动了 AI 社区：惊人的 100 万 token 上下文窗口、精准度大幅提升，而 Gemini 2.5 在研究模式下甚至宣称支持高达 1000 万 token。作为一家 RAG 即服务创业公司的创始人，我的收件箱立刻被各种宣称 RAG 已死的消息塞满，建议我们在为时已晚之前赶紧转型。但 RAG 真的已经死亡了吗？以下是为什么我们仍然坚定看好 RAG，尽管新型大上下文模型令人印象深刻。
2025-04-16 23:37:52
735
原创 体验智能体构建过程：从零开始构建Agent
智能体（Agents）是一种能够感知环境、做出决策并采取行动来实现特定目标的自主实体。智能体的复杂程度各不相同，从简单的响应式智能体（对刺激直接做出反应）到更高级的智能体（能够学习和适应）都有。响应式智能体：直接对环境变化作出反应，没有内部记忆。基于模型的智能体：使用内部世界模型来做决策。基于目标的智能体：基于特定目标规划行动。基于效用的智能体：通过效用函数评估潜在行动，以优化结果。智能体的例子包括聊天机器人、推荐系统和自动驾驶汽车，它们各自使用不同类型的智能体来高效智能地执行任务。
2025-04-13 00:00:09
875
原创 AI代理是大模型实现可扩展智能自动化的关键
AI 代理框架：实现可扩展智能自动化的关键每个人都在谈论 AI 代理，例如 Sam Altman、Satya Nadella、Andrew Ng 和 Sundar Pichai 等行业领袖。但这究竟是为什么呢？因为这就是当今软件发展的方向，也是企业关注的焦点，更是各行各业保持竞争力的必经之路。AI代理不仅仅是未来趋势，它们正迅速成为现实，重塑着组织的运营方式、自动化流程和问题解决策略。既然您已经认识到 AI 代理的重要性，那么第一步就是理解其框架。
2025-04-12 21:53:03
724
原创 Agent系列教程01-什么是Agent？当今为什么这么重要？
它们可以动态地处理边缘情况 —— 例如，如果分析 Agent 发现数据质量问题，它可以要求准备 Agent 进行特定的清理，或者如果可视化 Agent 识别出有趣的模式，它可以建议进行额外的分析以进一步探索。这不再仅仅是拥有一个可以提供建议的顾问与拥有一个可以帮助完成工作的同事之间的区别 —— 这就像拥有一个由专家组成的完整团队，代表你无缝地协同工作。AI Agent 自主和协作运行的能力，需要开发和采用标准化的通信协议，以确保无缝的互操作性，并创建复杂的多 Agent 系统。
2025-04-11 23:22:56
984
原创 怎么构造思维链数据？思维链提示工程的五大原则
我来为您翻译这篇关于思维链提示工程的文章，采用通俗易懂的中文表达：思维链(CoT)提示工程是生成式AI(GenAI)中一种强大的方法，它能让模型通过逐步推理来解决复杂任务。通过构建引导模型思考过程的提示，思维链能提高输出的准确性、连贯性和可靠性。本白皮书探讨了思维链提示工程的核心设计原则，提供实用案例，并概述了在各种应用中有效实施思维链的策略。生成式AI系统越来越多地用于需要逻辑推理、多步骤问题解决和上下文理解的任务。传统的提示方法往往导致输出缺乏深度或无法满足任务的复杂性。
2025-04-09 23:15:48
912
原创 RAG 系统中的偏差是什么？
RAG是一种人工智能技术，通过整合外部来源来增强大型语言模型。它允许模型对其产生的信息进行事实核查或校对。采用 RAG 驱动的人工智能模型被认为更可信和更新，因为引用外部来源增加了数据的可信度。这也可以防止模型产生过时的信息。RAG 系统的核心功能取决于外部数据集、其质量以及它们所受到的审查程度。如果 RAG 系统引用的外部数据集未经开发者消除偏差和刻板印象，则可能会嵌入偏差。
2025-04-08 23:08:56
1017
原创 推理模型不一定说的是真话：关于大模型“思维链”的隐藏真相
打个比方：你在考试，答题后写了解题思路。如果你真的是参考了书上的提示、或者你其实对这个知识点不太懂，那你在解释时也应该说出来。这才是“真实”的解释。对于AI来说，一条“真实”的思维链，应该是诚实地说明它是怎么一步步做出决定的，用了什么信息、参考了哪些内容。不是编的，不是事后找个借口来解释。
2025-04-07 15:39:06
360
原创 大模型背景下智能体、工具、函数和MCP傻傻分不清？
智能体是利用大模型执行任务的AI系统。它们通过自然语言理解用户需求，并规划任务执行步骤。例如，一个智能体可能被要求“安排下周二下午2点的会议”。为了完成此任务，智能体需要与外部工具交互，获取日历信息或创建事件。智能体通常依赖大模型来处理复杂任务，并通过标准接口（如MCP）调用外部工具。工具是提供特定功能的外部资源或服务。例如，日历工具可以管理预约，文件工具可以读写文档。函数是工具的具体操作，类似于方法或API端点。
2025-04-03 17:47:20
894
原创 【RAG实战 】 手把手教你从零手撸一个语义切块，解锁更多优化技巧！
在RAG（Retrieval-Augmented Generation）中，chunk是个关键步骤。它的核心目标，就是把语义相近的内容放在一起，语义不同的内容拆开，这样后续的检索（retrieve）和重排序（rerank）才能更有效。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我去小明家吃饭。这段话其实表达了三个完全不同的意思，最理想的chunk方式，就是精准地把这三个部分分开，互不干扰。
2025-03-23 16:26:35
939
原创 AI老板心中的迈巴赫：DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程，RAG产品化体验5件套
DeepSeek-R1火了之后，Ai老板部署需求大大提升，抛开效果不谈，五件套易用性和灵活性相比VLLM大大提升，门槛较低，但是效果不言而喻。以下部署全部以docker方式进行，因为太方便了,但同时坑很多，请做好心理准备喜欢折腾的同学可以按照下面教程进行部署，我也是被逼无奈请杯子里面装满水，原地坐牢，不出意外的话就马上出意外了，一个BUG一支烟。
2025-03-21 22:51:42
1064
原创 为什么 RAG 会失败以及如何解决？揭秘背后三大致命缺陷！
RAG（检索增强生成）它把检索系统和生成式 AI 结合起来，让 AI 回答得更准确、更贴合上下文。和普通的大语言模型（LLM）不同，RAG 不只是依赖训练时学到的知识，而是能实时从外部信息源查找内容，并用这些信息来生成更可靠的回答。RAG 的核心组成负责从外部数据源提取相关信息，确保 AI 的回答既准确又及时。检索做得好，AI 的输出质量就高；如果检索设计不合理，可能会导致无关答案、幻觉（AI 瞎编）或数据缺失。由大语言模型（LLM）来处理用户提问，并结合检索到的内容生成回答。
2025-03-21 22:22:47
745
原创 解锁的搜索与推理新模式：DeepSearch与DeepResearch的区别
DeepSearch 可以理解为一种“高级的网页搜索代理”。传统的网页搜索代理通常只是用已有的搜索工具来收集信息，然后生成答案，它基本上只进行了一次搜索。而 DeepSearch 则在搜索过程中加入了“推理”这一环节。简而言之，DeepSearch 的工作原理是不断地进行“搜索 → 推理 → 搜索 → 推理…”的循环，直到找到最合适的答案，或者达到 Token 限制为止。下图展示了 DeepSearch 和传统网页搜索代理的处理流程对比。
2025-03-20 01:47:20
889
原创 玩转RAG应用：如何选对Embedding模型？
在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。
2025-03-18 22:44:00
662
原创 推理大模型的后训练增强技术-如何系统地理解和提升长思维链推理能力
最近，基于大型语言模型（RLLMs）的推理能力取得了显著进展，例如OpenAI的O1和DeepSeek的R1，它们在数学、编程等复杂领域展现了强大的能力。然而，尽管已有这些突破，关于长链思维的全面综述仍然匮乏，这也限制了对其与传统短链思维（Short CoT）区别的理解，并使得“过度思考”和“测试时扩展性”等问题的讨论变得复杂。接着，探讨了长链思维的关键特征：深度推理、广泛探索和可行反思，这些特征使得模型能够处理更复杂的任务，且相比较浅的短链思维，能够生成更加高效、连贯的结果。
2025-03-18 17:22:37
916
原创 推理大模型的后训练增强技术-Reasoning模型也进化到2.0了，这次居然学会用工具了
Reasoning模型也进化到2.0了，这次居然学会用工具了！✨ 最近有个叫START的方法，让大模型也能学着用工具，比如自己调用代码解释器，来提升推理和解决问题的能力。具体怎么实现的呢？它会把「思考链」和「工具调用」结合起来，给模型配上了自查、自我探索和自己修bug的能力。简单说，就是教模型边想边动手，用工具解决推理过程中的难题。具体的训练步骤大概是：1️⃣ 收集数学和编程题目，比如数学的AIME、MATH，编程的Codeforces、LiveCodeBench这些比赛题目。
2025-03-17 22:08:02
687
原创 推理大模型的后训练增强技术-从系统1到系统2：大语言模型推理能力的综述
我们平时接触的AI，很多都是快速的、直觉型的，类似人类的“系统1”，能快速回答问题，但碰到稍微复杂一点的任务，就可能“翻车”了。这篇论文探讨的，是如何让AI从这种“直觉型”思维，迈向更为深度和理性的“系统2”思维——也就是人类在面对复杂问题时，那种慢一点但更加谨慎和全面的思考模式。研究团队认为，实现真正的人工智能，关键在于如何有效地让AI从快速的直觉反应，过渡到深度的、理性的思考。仓库链接：https://github.com/zzli2022/Awesome-System2-Reasoning-LLM?
2025-03-15 00:34:18
355
原创 Gemma 3 27B版本超越DeepSeek V3：技术要点分析！
Gemma 3 是 Google 最新的开放权重大型语言模型。它有四种尺寸，分别是 10 亿、40 亿、120 亿 和 270 亿 参数，包含基础（预训练）和指令调优版本。Gemma 3 支持 多模态！4B亿、12B和 27B参数的模型可以处理 图像 和 文本，而1B参数的模型仅限于文本。Ollma Gemma3模型权重合集Gemma 3作为Gemma系列的最新迭代，带来了以下几个关键的进步：Gemma 3整合了视觉理解能力，能够处理图像输入，扩展了模型的应用范围。
2025-03-13 00:40:34
3280
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人