- 博客(289)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 LLM之Agent（十五）| 使用Langchain实现模型上下文协议（MCP）
MCP 可以用作通用接口，将其视为 AI 的 USB-C，在LLMs/AI Agent和外部资源之间实现无缝、安全和可扩展的数据交换。AI Agent的挑战在于传输给Agent数据，换句话说，基于AI Agent/LLM 的应用程序集成到外部数据源。开发人员也可以使用 MCP 构建可重用的模块化连接器，并为流行的平台提供预定义的服务器，从而创建一个社区驱动的生态系统。在另一个终端创建一个文本文件client.py用于客户端。使用运行客户端：python client.py。
2025-03-31 17:45:00
118
原创 LLM之Agent（十四）| 字节开源ComputerUse纯视觉驱动GUI 智能体模型 UI-TARS
Agent TARS 是一款开源的多模态 AI 智能体，能够基于视觉理解网页内容，并与浏览器、命令行和文件系统无缝集成，实现复杂任务的规划与执行。它旨在为用户提供高效、便捷的自动化体验，具有多模态交互能力、强大的任务规划与执行功能，以及高度的可扩展性和灵活性。
2025-03-25 15:59:32
1118
原创 LLM之RAG理论（十四）| RAG 最佳实践
检索结果可能包含冗余或不必要的信息，这可能会阻止 生成LLM准确的响应。此外，较长的提示可能会减慢推理过程。因此，在 RAG 过程中，汇总检索到的文档的有效方法至关重要。提取式压缩器将文本分割成句子，根据重要性对它们进行评分和排名。Generative Compressor 综合来自多个文档的信息，以重新措辞并生成连贯的摘要。这些任务可以是基于查询的，也可以是非基于查询的。主要评估三种方法：Recomp： 它具有抽取式和生成式压缩机。提取式压缩器选择有用的句子，而生成式压缩器则综合来自多个文档的信息。
2025-03-23 23:45:33
776
原创 LLM之RAG实战（五十二）| 如何使用混合搜索优化RAG 检索
在RAG项目中，大模型生成的参考内容（专业术语称为块）来自前一步的检索，检索的内容在很大程度上直接决定了生成的效果，因此检索对于RAG项目至关重要，最常用的检索方法是关键字搜索和语义搜索。本文将分别介绍这两种搜索策略，然后将它们结合起来进行混合检索。
2025-03-23 08:56:43
1424
原创 LLM（十七）| 阿里Marco-o1：OpenAI-o1 的开源替代品
Marco-o1 旨在通过采用蒙特卡洛树搜索 （MCTS） 和思维链 （CoT） 微调等先进技术来处理复杂的推理任务。它的主要重点是为开放式问题生成多个解决方案，而不是满足于单一答案，这与类似人类的推理过程更紧密地保持一致。Marco-o1 不仅适用于具有明确答案的学科，例如数学、物理或编码，在这些学科中，使用强化学习 （RL） 很容易衡量成功。它还侧重于解决没有固定规则或明显方法来判断成功的开放式问题例如：想象一下 Marco-o1 是一个超级聪明的问题解决者。
2025-03-13 11:26:53
460
原创 LLM漫谈（九）| DeepSeek NSA论文全文翻译
长文本建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了显著的计算挑战。稀疏注意力为提高效率的同时保持模型能力提供了一个有前景的方向。我们提出了 NSA（Native Sparse Attention），这是一种可原生训练的稀疏注意力机制，通过将算法创新与硬件对齐优化相结合，实现了高效的长文本建模。NSA 采用动态层次化的稀疏策略，将粗粒度的标记压缩与细粒度的标记选择相结合，既保留了全局上下文感知能力，又保持了局部精度。
2025-02-20 18:36:06
867
原创 LLM（十六）| s1：50美元大模型可以和DeepSeek R1媲美吗？
在推理阶段，s1 引入了一种预算强制方法来控制推理时间和计算。这是一个简单的解码时间干预，控制思维标记的数量：为了强制执行最大值，将附加 end-of-thinking token 和 “Final Answer：” 以强制提前退出并提示模型提供其最佳答案。为了强制执行最小值，会抑制 end-of-thinking 标记，并且可以将 “Wait” 添加到推理路径中，从而鼓励进一步的思考。图3.s1-32B 的预算强制。
2025-02-19 17:13:12
816
原创 LLM（十五）| Kimi k1.5：解锁语言模型强化学习新高度
为了让短 CoT 模型也能有更好的表现，Kimi k1.5 提出了几种方法，比如模型合并，直接平均长 CoT 和短 CoT 模型的权重；而强化学习为人工智能的发展开辟了新方向，Kimi k1.5 就是基于强化学习训练的多模态大模型，它能通过奖励机制探索学习，不再局限于固定的数据集。利用精心设计的提示工程，构建高质量的长 CoT 热身数据集，让模型学习人类的推理策略，如规划、评估、反思和探索。同时，引入长度惩罚机制，避免模型生成过长的推理过程，还提出了课程采样和优先采样两种策略，提高训练效率。
2025-02-17 16:03:37
824
原创 LLM（十四）| DeepSeek-R1概况
2025年1月20日，杭州深度求索人工智能基础技术研究有限公司发布高性能AI推理模型DeepSeek-R1，对标OpenAI的o1正式版。目前发布了两个版本：DeepSeek R1-Zero 和 DeepSeek R1。其中，DeepSeek-R1-Zero 是一个完全基于强化学习（RL）训练而无需监督微调（SFT）的模型。通过强化学习（RL），DeepSeek-R1-Zero 自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混合问题。
2025-02-08 14:58:51
2322
原创 LLM（十三）| DeepSeek-R1论文全文翻译
我们介绍第一代推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是一个完全通过大规模强化学习（RL）训练而无需监督微调（SFT）作为初步步骤的模型，展示了显著的推理能力。通过RL，DeepSeek-R1-Zero 自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混合问题。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前引入了多阶段训练和冷启动数据。
2025-02-08 14:55:02
911
原创 LLM之Agent（十三）| 使用 PydanticAI 框架构建多代理LLM 系统（保姆教程）
假设您正在制作一个应用程序，用户可在其中提交他们的姓名、年龄和电子邮件。您希望确保：名称是一个字符串；年龄是一个数字；电子邮件的格式有效；从以下示例可以看出 Pydantic 是如何简化此操作：。
2025-01-06 17:52:56
1142
原创 LLM之RAG理论（十三）| 传统RAG和Agentic RAG比较
Agentic RAG 代表了信息检索的重大发展，与传统 RAG 相比，它提供了一种更复杂和自主的方法。通过整合 AI 代理，Agentic RAG 系统可以处理复杂的查询，适应不断变化的信息环境，并提供更准确和相关的响应。虽然在复杂性和可靠性方面仍然存在挑战，但 Agentic RAG 的潜在优势是巨大的，为跨各个领域更智能、更高效地访问和利用信息铺平了道路。
2025-01-06 14:09:26
464
原创 LLM之RAG实战（五十一）| 使用python和Cypher解析PDF数据，并加载到Neo4j数据库
使用 LayoutPDFReader 解析每个 PDF；将解析后的数据加入到Neo4j数据库中；查找指定目录中的所有 PDF 文件；
2025-01-06 10:58:33
828
原创 MLLM（四）| 阿里多模态大模型QVQ-72B-Preview： 以智慧看世界
QVQ 在 MMMU 上获得了 70.3 分，与 Qwen2-VL-72B-Struct 相比，在数学相关基准测试中显示出显着改进。通过仔细的逐步推理，QVQ 在视觉推理任务中展示了增强的能力，尤其是在需要复杂分析思维的领域中表现出色。QVQ-72B-Preview 在 MMMU 基准测试中以70.3 分超过其前身 Qwen2-VL-72B-Instruct。此外，在其余三个专注于数学和科学问题的基准测试中，该模型表现出卓越的性能，有效地缩小了与领先的最先进的 o1 模型的差距。
2025-01-03 14:45:52
710
原创 LLM（十二）| DeepSeek-V3 技术报告深度解读——开源模型的巅峰之作
DeepSeek-AI 团队最新发布的 DeepSeek-V3，作为一款强大的混合专家模型（Mixture-of-Experts, MoE），凭借其高效的架构和创新的训练策略，成为了当前最强的开源模型之一。通过创新的架构设计、高效的训练策略和经济的成本控制，DeepSeek-V3 不仅成为了当前最强的开源模型之一，也为未来的 AI 研究提供了宝贵的参考。DeepSeek-V3 的推理部署采用了 预填充（Prefilling） 和 解码（Decoding） 分离的策略，确保了在线服务的高吞吐量和低延迟。
2024-12-31 15:44:58
23419
1
原创 LLM漫谈（八）| OpenAI 12天直播集锦
🛠️ ChatGPT Canvas 是 OpenAI 在今年10月推出的基于 ChatGPT 的全新功能，经过数月的测试，现已正式上线。🎊🔖 OpenAI 官方将 Canvas 定义为 "A new way of working with ChatGPT to write and code"，意在通过这一功能提升写作与编程的效率。Canvas 名字源于英文“画布”的含义，它为用户提供了一个独立的可视化工作区，突破了传统聊天框的交互限制。🎨。
2024-12-26 16:00:51
1070
原创 LLM之RAG实战（五十）| FastAPI：构建基于LLM的WEB接口界面
FastAPI是WEB UI接口，随着LLM的蓬勃发展，FastAPI的生态也迎来了新的机遇。本文将围绕FastAPI、OpenAI的API以及FastCRUD，来创建一个个性化的电子邮件写作助手，以展示如何结合这些技术来构建强大的应用程序。
2024-12-13 15:21:17
1235
原创 LLM之RAG实战（四十九）| Langchain-chatchat源码解析
参考链接：https://juejin.cn/post/7316820571207499787。参考链接：https://juejin.cn/post/7317094146874212388。参考链接：https://juejin.cn/post/7385109416721612841。参考链接：https://juejin.cn/post/7321748041773088803。参考链接：https://juejin.cn/post/7397352785606017059。
2024-12-13 11:14:35
225
原创 LLM之RAG实战（四十八）| AutoRAG：基于用户数据自动优化RAG pipeline的AutoML工具
在这种情况下，您需要使用一个语料库创建 QA，然后将语料库的其余部分映射到 QA 数据。完成后，可以看到在当前目录中创建的多个文件和文件夹。在命名为数字（如 0）的 trial 文件夹中，可以检查summary.csv文件，该文件汇总了评估结果和最适合您数据的 RAG 管道。是非常耗时和困难的。trial 文件夹是正在运行的控制面板中使用的目录。也可以同时使用多个Parse模块，这种情况下，需要为每个解析的结果返回一个新进程。如果想制作自己的配置 YAML 文件，可以查看配置 YAML 文件[2]部分。
2024-10-31 17:38:43
1300
原创 LLM之RAG实战（四十七）| GraphRAG：使用知识图谱改进 RAG 检索策略
此外，GraphRAG 利用知识图谱的模块化，将它们划分为语义相关的单元，并为每个单元生成摘要报告。此类问题的上下文可能分散在大型存储库中，这使得通常使用 top-k 算法的矢量检索方法难以捕获所有相关的文档块，从而导致信息检索不完整。相比之下，知识图谱 RAG 从查询中提取实体，并从图数据库中检索相关实体和关系。相比之下，知识图谱 RAG 在摄取期间从文档块中提取实体和关系，并将其存储在图形数据库中。在检索过程中，知识图谱 RAG 从查询中提取实体，并从图数据库中检索相关实体和关系。
2024-10-31 10:29:36
1478
原创 LLM之RAG实战（四十六）| Langflow：一个用于构建 RAG 和多代理应用的低代码应用构建工具
它基于 Python 构建，并且不依赖任何模型、API 或数据库。无需配置，登录https://astra.datastax.com/signup?切换Prompt为：Answer the user as if you were Hermione Granger.输入Prompt：Answer the user as if you were a pirate.：作为任何模型、API 或数据库的可重用组件。：与模型、API、数据源或数据库无关；：通过拖放方式构建和测试工作流；：无需设置，几分钟内即可启动；
2024-10-29 15:02:38
864
原创 LLM之RAG实战（四十五）| LightRAG：创新双级检索系统，整合图形结构，实现更强大信息检索！
成本和适应性分析：LightRAG在索引和检索过程中的令牌和API调用数量上比GraphRAG更高效，特别是在处理数据变化时的增量更新阶段。高效的检索效率：通过结合图结构和向量表示，LightRAG能够高效地检索相关实体及其关系，显著提高了响应时间，同时保持了上下文相关性。评估：在多个数据集上的实验评估表明，LightRAG在多个维度上优于现有的RAG基线方法，包括在处理大规模语料库和复杂查询时的优越性。图结构的整合：LightRAG通过使用图结构来表示实体间的复杂关系，从而能够更细致地理解和检索信息。
2024-10-22 14:20:06
2944
1
原创 LLM之RAG实战（四十四）| rag-chatbot：支持Huggingface和Ollama任意模型的多PDF本地RAG方案
Step1：把https://github.com/datvodinh/rag-chatbot/blob/main/notebooks/kaggle.ipynb脚本导入到Kaggle。大模型的配置文件：https://github.com/datvodinh/rag-chatbot/blob/main/rag_chatbot/setting/setting.py。Step2：把<YOUR_NGROK_TOKEN>替换为自己的token。脚本方式（Ollama, Ngrok, python package）
2024-10-22 10:04:11
705
原创 LLM之Agent（十二）| OpenAI Agent-Swarm简单入门
项目地址：https://github.com/openai/swarm。
2024-10-21 09:39:03
281
原创 使用Langchain-chatchat搭建RAG应用，并使用postman进行测试验证
Github地址：https://github.com/chatchat-space/Langchain-Chatchat LangChain-Chatchat (原 Langchain-ChatGLM)，一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 本项目的最新版本中可使用 Xinference、Ollama 等框架接入 GLM-4-Chat、 Qwen2-Instruct、 Ll
2024-10-17 15:25:52
1748
原创 MLLM（三）| BigModel平台正式上线Plus系列全家桶
2024年8月28日，在ACM SIGKDD（国际数据挖掘与知识发现大会，KDD）会议现场，智谱AI重磅推出新一代全自研基座大模型GLM-4-Plus、图像/视频理解模型GLM-4V-Plus和文生图模型CogView-3-Plus。文生图模型迎来最新版本CogView-3-Plus，其效果接近目前最佳的 MJ-V6 及 FLUX 等模型，并支持图片编辑功能。：在城市的一个广场上，傍晚时分，落日映射着白云，天上有一群大雁在飞翔，地上有几个人在游乐场玩耍。三个大模型在长文本推理方面，表现一致的好。
2024-09-09 09:49:23
956
2
原创 MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL
从六个关键维度评估模型的视觉能力：复杂的大学水平问题解决、数学能力、文档和表格理解、多语言文本图像理解、一般场景问答、视频理解和基于代理的交互。此功能为更直观和身临其境的交互铺平了道路，Qwen2-VL 不仅充当观察者，而且是我们视觉体验的积极参与者。此外，更小的 2B 模型针对潜在的移动部署进行了优化。Qwen2-VL 现在拥有改进的对象识别功能，超越了植物和地标，可以理解场景中多个对象之间的复杂关系。在 7B 模型上，保留了对图像、多图像和视频输入的支持，以更具成本效益的模型大小提供有竞争力的性能。
2024-09-05 09:58:03
4792
1
原创 MLLM（一）| 文/图生视频任务大升级，BigModel 开源了视频模型CogVideoX
自2021年起，智谱 AI 技术团队便开始着手布局包括 text-2-img、text-2-video、img-2-text、video-2-text 在内的多模态模型，并陆续研发并开源了CogView、CogVideo、Relay Diffusion、CogVLM、CogVLM-Video等多个先进模型。这一创新增强了模型对文本的理解和对指令的遵循能力，确保生成的视频更加符合用户的输入需求，并能够处理超长且复杂的prompt指令。接下来，使用上述生成的视频id抽取视频内容。生成的效果不错，非常高清。
2024-09-02 15:16:02
1378
原创 LLM之RAG理论（十二）| RAG和Graph RAG对比
与传统 RAG 相比，Graph RAG 的主要优势在于它能够检索有关查询中提到的实体的全面详细信息。当我们仔细观察架构时，我们可以看到，首先将文档拆分为可管理的块，并将这些块转换为实体和关系，这些实体和关系构成了知识图谱的基础。在基于LLM问答的系统中实施 RAG 的主要好处是它确保模型可以访问最新、最可靠的事实，并且用户可以访问模型的来源，确保其声明可以被检查为准确性并最终被信任。检索增强生成（RAG）是一个框架，通过支持外部知识源的模型来补充LLM信息的内部表示，从而提高LLM生成响应的质量。
2024-07-23 16:50:15
1337
原创 LLM之RAG实战（四十二）| 如何在LlamaIndex和LangChain中正确选择RAG开发框架
之后不久，各大企业和高校纷纷推出自己的大模型，然而，除了开发大模型之外，企业对大模型的应用开发需求也开始爆发，这导致了对大模型工具/框架的需求激增，这些工具/框架有助于 Gen AI 模型的开发、集成和管理。目前有两个突出的框架处于领先地位：LlamaIndex 和 LangChain，这两个框架的目标是帮助开发人员创建自己的自定义LLM应用程序。在这种机制的帮助下，RAG 可用于生成高度准确和相关的输出，否则LLMs基础知识是不可能实现的。A3：是的，可以结合这两个平台的强大功能为您的用例开发解决方案。
2024-07-20 16:12:33
1076
原创 LLM之Prompt（四）| OpenAI、微软发布Prompt技术报告
生成式人工智能 （GenAI） 系统正越来越多地部署在各行各业和研究机构。开发人员和用户通过使用提示或提示工程与这些系统进行交互。虽然提示是一个广泛提及且被研究的概念，但由于该领域的新生，存在相互矛盾的术语和对构成提示的本体论理解不足。本文通过对提示技术的分类和使用案例，构建对提示的结构化理解。作者还提供了 33 个词汇术语的综合词汇表、58 种纯文本提示技术的分类法和 40 种其他模态技术的分类法。作者进一步对自然语言prefix提示进行了整体分析。
2024-07-15 11:33:38
1528
原创 LLM之RAG实战（四十一）| 使用LLamaIndex和Gemini构建高级搜索引擎
要使用 LlamaIndex 构建用于混合搜索的自定义检索器，我们首先需要定义架构，尤其是配置合适的节点。在我们的例子中，使用 LlamaIndex 来构建自定义检索器，使用 Gemini 来构建嵌入模型和LLM推理，并使用 PyPDF 来构建数据连接器，因此，需要安装所需的库。一旦数据被解析为节点，LlamaIndex 就会提供一个存储上下文，它提供默认的文档存储，用于存储数据的向量嵌入。为了测试其有效性，我们使用一个包括上下文的提示和一个不包括上下文的提示来评估生成的响应。
2024-07-08 14:41:18
1717
原创 LLM漫谈（七）| 使用PyTorch从零构建LLM
因此，我们将使用来自 Huggingface 的数据集，名为“Helsinki-NLP/opus-100”，它有 100 万对英语-马来语训练数据集，足以获得良好的准确性，并且在验证和测试数据集中各有 2000 个数据。：Feedfoward Network使用深度神经网络来学习两个线性层（第一层有d_model个节点，第二层有d_ff节点，根据注意论文分配的值）的所有特征，并将 ReLU 激活函数应用于第一线性层的输出，为嵌入值提供非线性，并应用 dropout 以进一步避免过拟合。
2024-06-19 16:25:13
1484
原创 LLM之RAG实战（四十）| 使用LangChain SQL Agent和MySQL搭建多层RAG ChatBot
在第二层，SQL Agent首先获取到用户的问题，然后要求 LLM 根据用户的问题创建 SQL 查询，使用内置函数在MySQL数据库上运行查询。在这里，我们使用的是 ChatPromptTemplate，如果你真的研究它，你会看到它是如何专门编写的，用于创建和运行 SQL 查询。在下一段代码中，将使用上一个代码块中定义的变量创建 QA 链，将消息添加到聊天记录中，然后运行链以获取改进的查询。这是代码的最后一部分，它将首先运行第一层以获取改进的查询，然后我们使用该改进的查询来获得最终响应。
2024-06-14 10:30:09
2942
2
原创 LLM之RAG实战（三十九）| 高级RAG技术全面解析（附代码）
在检索步骤中，用户的查询也被转换为嵌入，此嵌入用于在向量数据库中搜索最相关的文本数据。最后，在生成步骤中，查询会使用先前检索到的相关文档进行增强，大型语言模型会使用此增强的提示来生成对用户问题的答案。下一步，它使用 Faiss 执行向量搜索，Faiss 返回前五个最接近的文档的索引，这些索引用于根据文档的排名创建反向分数文档（即，最接近的文档得分最高）。上面提供的伪代码概述了使用机器学习根据相关性对文档进行重新排序的方法，具体来说，是通过预测用户根据过去的交互找到相关文档的可能性。
2024-06-05 14:17:14
3245
1
原创 LLM之RAG实战（三十八）| RAG分块策略之语义分块
这意味着，虽然块的大小不会完全相同，但它们仍然具有相似的大小，并可以利用固定大小块和重叠的优点。：该方法不像上述两种方法一样，它不会使用一定数量的字符或递归过程，而是基于文档的逻辑部分（如段落或小节）来生成对齐的块。我们可以看到，语义分块和Naive分块的结果几乎相同，只是Naive分块对答案的真实表示更好，与语义分块的0.88分相比，得分为0.95。语义分块包括获取文档中每个句子的嵌入，比较所有句子的相似性，然后将嵌入最相似的句子分组在一起。这里的假设是，我们可以使用单个句子的嵌入来生成更有意义的块。
2024-05-01 01:13:08
5434
原创 LLM之RAG理论（十一）| 面向生产的RAG应用程序的12种调整策略指南
请注意，虽然用于语义搜索的所用相似性度量是一个可以更改的参数，不需要进行实验，而应该根据所使用的嵌入模型进行设置（例如，text-embedding-ada-002支持余弦相似性或multi-qa-MiniLM-l6-cos-v1支持余弦相似、点积和欧几里得距离）。这取决于您拥有的数据类型，例如，如果您的输入数据是代码，而不是Markdown文件，则需要使用不同的分块技术。如果元数据不足以提供额外的信息来从逻辑上分离不同类型的上下文，可能需要尝试使用多个索引，例如，可以对不同类型的文档使用不同的索引。
2024-04-29 17:48:28
1086
原创 LLM漫谈（六）| 复旦MOSS提出数据配比scaling law
虽然数据混合定律使我们能够在未见过的混合数据上预测训练模型的性能，但满足该定律的要求涉及跨不同混合物训练多个模型，并且模型大小和tokens计数与目标模型相同。此外，我们必须对每个目标模型大小和训练数据集重复此过程（一个想法是将使用少量标记训练的小型模型上的优化训练混合物转移到大型模型和大量训练数据的训练上。对于所有模型，将批量大小设置为 1M 令牌，从而转化为 1B 模型的 100k 步和小模型的 30k 步，并应用余弦学习率衰减，并进行 2k 步的预热，在第 100k 步时衰减到最大学习率的 0.1。
2024-04-25 14:26:22
2181
原创 LLM之RAG实战（三十七）| 高级RAG从理论到LlamaIndex实现
alpha参数指定矢量搜索和基于关键字的搜索之间的权重，其中alpha=0表示基于关键字的检索，alpha=1表示纯矢量搜索。在概述了高级RAG技术（可分为预检索、检索和后检索技术）之后，本文使用LlamaIndex进行编排，实现了一个简单而高级的RAG管道。由于整个文档太大，无法放入LLM的上下文窗口，因此需要将其划分为较小的文本块，这些文本块在LlamaIndex中称为Nodes。检索阶段旨在识别最相关的上下文。除了矢量搜索之外，还有其他检索技术，例如混合搜索，是指将矢量搜索与基于关键字的搜索相结合。
2024-04-01 14:19:31
2462
《GAN：实战生成对抗网络》_刘梦馨.pdf
2019-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人