段智华的博客

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

原创 2024年重磅喜讯！热烈祝贺Gavin大咖大模型领域经典著作《Transformer&ChatGPT解密：原理、源码及案例》北京航空航天大学出版社发行上市!

2024年重磅喜讯！热烈祝贺Gavin大咖大模型领域经典著作《Transformer&ChatGPT解密：原理、源码及案例》北京航空航天大学出版社发行上市!

2024-06-09 10:42:22 249

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!目录全息代码解密编辑推荐内容简介作者简介本书目录前言新书链接全息代码解密Apache Spark+AI全息代码解密（京东套装共2册）你需要的Apache Spark和AI技能都在这里！全程案例驱动无痛学习，动手创造自己AI框架，解密Alluxio, 抽丝剥茧学习Spark内核所有关键源码及实践优化的一切秘密https://item.jd.com/1302908

2020-12-12 09:52:10 1193 8

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!目录大咖心声新书图片内容简介作者简介目录前言/序言新书案例案例一：自研盘古人工智能框架案例二：基于Pytorch的自然语言处理模型(BERT)的应用案例案例三：人力资源主管正确评估新招聘员工薪水的案例案例四：基于Alluxio+Pytorch的深度学习案例案例五：Spark+AI实战案例新书网购链接新书资讯大咖心声数据象征空间AI代理时间

2020-10-31 08:54:56 2449 2

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市! 前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市：致 Spark + AI 初学者前言新书介绍编辑推荐内容简介作者简介精彩章节新书目录第二版前言第一版前言Spark+AI学习路径献给Spark+AI的“后浪”新书案例讲解第二版网购链接新书资讯前言欢迎来到清华大学出版社《Spark 大数据商业实战三部曲：内核解密|商业案例|性能调优（第2 版）》新书博客！关注到Spark新书发布的每一位同学，应该是学习了很多大数据的基础知识，学习了很多人工智能的技术资料，正在寻求进一步的自我成长。在学习过程中，一定是遇到了很

2020-05-25 11:08:23 1863

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市!

《Spark大数据商业实战三部曲》第二版购书链接：https://item.jd.com/12864870.html

2020-05-22 16:27:07 1255 3

原创 2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!

2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!本书基于Spark 2.2.0新版本，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手...

2018-02-13 19:47:15 7196 9

原创隆重推出 Llama 3.1：迄今为止最强大的开源模型

The gates of heaven open: Llama 3.1 405B, the most capable models to date from Meta, is competitive with leading foundation models across a range of tasks, including GPT-4, GPT-4o, and Claude 3.5 Sonnet.This open-source LLM has the potential to significant

2024-07-24 19:45:00 677

原创 Gavin大咖亲自授课：LangGraph+CrewAI项目实战

Gavin大咖亲自授课：LangGraph+CrewAI项目实战这个内容非常重要，它会奠定你接下来至少1到2年的核心竞争力。一方面它是最核心的算法和技术，另外一方面会讲很多的最佳实践，也会与大家分享很多的代码案例。通过这些内容，能够节省你1到2年的时间。之所以能够这样说，除了前面解释的很重要的原因以外，Gavin大咖还会告诉你，无论你的数学基础、编程基础或工程经验怎么样，你都能够深刻地理解大模型或生成式AI背后最核心的技术、算法、实现以及在做工程或产品落地时做出正确的决策。

2024-07-17 19:30:00 716

原创 Gavin大咖亲自授课：将大语言模型与直接偏好优化对齐

直接偏好优化算法，这绝对是天才性的算法。你会看到数学的巨大力量和巨大价值，你一定会很兴奋和激动。那个时候,Gavin大咖讲直接偏好优化算法的时候，说直接偏好优化算法确实是非常棒的，不过那个时候模型本身还不是那么强。所以虽然数学公式非常优美，非常优雅，但在测试直接偏好优化算法的时候，发现跟官方说的效果不一致，确实也不如近端策略优化算法的效果。但现在尤其是GPT4的版本或者其他同类型的新模型出现之后，我们发现这个模型，在识别什么是好的一种行为和选项方面，发现确实是增强了很多。

2024-07-01 20:34:55 1267

原创大模型应用开发 Giskard之机器学习中的biases 从何而来？（一）

Giskard之机器学习中的偏见从何而来？

2024-06-28 20:00:00 1455

原创大模型微调：零样本提示在Amazon SageMaker JumpStart中的Flan-T5基础模型中的应用（三）

在 SageMaker 中访问 Flan-T5 指令调整模型

2024-06-28 19:30:00 447

原创大模型微调：零样本提示在Amazon SageMaker JumpStart中的Flan-T5基础模型中的应用（二）

大模型微调：零样本提示在Amazon SageMaker JumpStart中的Flan-T5基础模型中的应用（二）

2024-06-26 20:00:00 1107

原创大模型微调：零样本提示在Amazon SageMaker JumpStart中的Flan-T5基础模型中的应用（一）

大模型微调：零样本提示在Amazon SageMaker JumpStart中的Flan-T5基础模型中的应用（一）

2024-06-26 19:45:00 1001

原创大模型应用开发技术：LlamaIndex 案例实战（三）LlamaIndex RAG Chat

LlamaIndex RAG Chat 是一个使用 Colab 笔记本进行检索增强生成（Retrieval-Augmented Generation, RAG）的系统，它利用 PDF 文件来生成内容。

2024-06-24 19:42:02 1330

原创大模型应用开发技术：LlamaIndex 案例实战（二）功能发布和增强

LlamaIndex 时事通讯 2024-06-18嘿，Llama 的追随者们🦙欢迎阅读本周的 LlamaIndex 新闻通讯！我们将为您带来一系列令人兴奋的更新和宝贵资源，从 LlamaPack 的 Mixture-of-Agents (MoA) 论文到 AtomicWork 的 Atom AI 助手如何利用 LlamaIndex 来提高生产力和有效管理数据。请务必查看我们的深入指南、教育教程和网络研讨会，以深入了解我们的工具。

2024-06-23 19:54:56 722

原创大模型应用开发技术：LlamaIndex 案例实战（一）简介

LlamaIndex 是一个使用LLM构建情境增强生成式 AI 应用程序的框架。LLM 提供人与数据之间的自然语言接口。LLM 预先训练过大量公开数据，但它们并非基于你的数据进行训练。你的数据可能是私有的，也可能是特定于你要解决的问题的数据。它隐藏在 API 后面、SQL 数据库中，或隐藏在 PDF 和幻灯片中。上下文增强使 LLM 可以使用你的数据来解决手头的问题。LlamaIndex 提供构建任何上下文增强用例的工具，从原型到生产。

2024-06-23 19:30:33 1103

原创大模型应用开发技术：时间旅行（七）

第七部分：时间旅行¶在典型的聊天机器人工作流程中，用户与机器人交互1次或多次以完成任务。在前面的部分中，我们看到了如何添加内存和一个人在回路中，以便能够检查我们的图形状态并手动覆盖状态以控制未来的响应。但是，如果您想让用户从以前的响应开始，然后“分支”探索一个单独的结果，该怎么办？或者，如果你希望用户能够“倒带”你的助手的工作，以修复一些错误或尝试不同的策略（在自治软件工程师等应用程序中很常见）？您可以使用LangGraph的内置“时间旅行”功能创建这些体验和更多体验。在本节中，您将通过使用

2024-06-23 10:11:03 322

原创大模型应用开发技术：自定义状态

到目前为止，我们依赖于一个简单的状态（它只是一个消息列表！使用这个简单的状态可以走得很远，但是如果想定义复杂的行为而不依赖于消息列表，则可以向状态添加其他字段。我们将用一个新节点扩展聊天机器人来说明这一点。在上面的例子中，涉及到一个人：每当调用工具时，图总是中断。假设希望聊天机器人可以选择依赖人类。一种方法是创建一个 “human”节点，在此节点之前，图将始终停止。只有当LLM调用“人工”工具时，才会执行此节点。

2024-06-23 09:16:51 195

原创 # 大模型应用开发技术：手动更新状态（五）

MultiAgent

2024-06-21 20:28:28 182

原创大模型应用开发技术： Human-in-the-loop（四）

human in loop

2024-06-20 20:15:00 207

原创大模型应用开发技术：LangGraph 使用工具增强聊天机器人

")聊天机器人可以用来回答问题的页面摘要。接下来，开始定义图。在LLM上添加了bind_tools。这让LLM知道正确的JSON格式，如果它想使用搜索引擎。接下来需要创建一个函数，以便在调用这些工具时实际运行它们。将通过将工具添加到一个新节点来实现这一点。下面，实现一个BasicToolNode，它检查状态中最近的消息，如果消息包含tool_calls，则调用工具。

2024-06-20 19:30:00 226

原创大模型应用开发技术：为聊天机器人添加内存（三）

LangGraph为聊天机器人添加内存

2024-06-20 19:30:00 280

原创大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（二）

LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（二）代码实战

2024-06-19 19:30:00 116

原创大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（三）实战代码

LangGraph LangChain Multi Agent

2024-06-19 14:55:44 185

原创大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（一）

LangGraph接入 ERNIE SPEED 多智能体实战

2024-06-18 20:03:09 1071

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（六）多智能体通用统计

多智能体统计

2024-06-18 20:00:00 1267

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（三）定义工具及创建图

定义工具将定义一些工具，提供给代理使用@tool):try:reprreturn (定义了一个装饰器@tool，用于标记一个函数，该函数可以执行传入的Python代码，并返回执行结果。：从typing模块导入Annotated类，用于对类型进行注解，添加额外的元数据。：来自，用于搜索的类。tool：来自，用于标记工具函数的装饰器。PythonREPL：来自，是一个Python REPL（Read-Eval-Print Loop）的实现，用于执行Python代码。：创建了一个。

2024-06-18 19:30:00 889

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（四）定义工具节点及边逻辑

以上代码展示了如何在一个图计算框架中创建一个工具节点（ToolNode），这个节点包含了一系列的工具，这些工具可以被用于执行特定的任务或操作。：从模块导入ToolNode类。这个类用于创建和管理工具节点，工具节点可能是图计算中的一个组件。：定义了一个名为tools和。：创建了一个ToolNode实例，并将tools列表作为参数传递给它。这意味着这个tool_node将包含这两个工具，并且可以在图计算中使用它们。

2024-06-18 19:30:00 816

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（五）定义图

router,router,},这段代码定义了一个工作流，使用了一个名为StateGraph的类来创建一个状态图，它是一个有向图，其中的节点代表状态或操作，边代表状态之间的转换条件。：创建了一个StateGraph实例，它使用AgentState类型作为节点状态的数据结构。：向工作流中添加节点。节点与相关联。节点与chart_node相关联。节点与tool_node相关联。：向工作流中添加条件边。这些边基于router从节点出发，根据router函数的结果，可以转换到或结束状态（END 。

2024-06-18 19:30:00 907

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（二）

Multi Agent

2024-06-17 21:41:49 1157

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（六）

使用 Vertex AI SDK for Python来微调模型。也可以使用其他选项执行微调 - HTTP、CURL 命令、Java SDK、控制台。可以通过 5 个步骤微调和评估模型以获得定制响应

2024-06-17 20:30:00 704

原创大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（一）

单个代理通常可以在单个域中使用少量工具有效地运行，但即使使用像gpt-4这样强大的模型，它在使用许多工具时也可能不那么有效。处理复杂任务的一种方法是通过“分而治之”的方法：为每个任务或域创建一个专门的代理，并将任务路由到正确的“专家”。

2024-06-17 20:30:00 1541

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（五）Vertex AI：你的微调伙伴

Vertex AI：您的微调伙伴Vertex AI 提供了一套全面的工具和服务，指导您完成整个微调过程：Vertex AI Pipelines：通过构建和管理端到端机器学习管道（包括数据准备、模型训练、评估和部署）来简化您的工作流程。Vertex AI 评估服务：使用针对您的特定任务定制的指标评估您的微调模型的性能，确保其符合您的质量标准。Vertex AI 模型注册表：在集中存储库中跟踪所有模型，包括不同版本及其性能指标。Vertex AI Endpoints：将经过微调的模型部署为

2024-06-11 20:30:00 1407

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（四）Vertex AI 如何将 LLM 提升到新水平

想象一下这样一个世界：语言模型能够理解您的业务/行业的特定需求，并能够生成完全适合您的独特领域或任务的文本。这不是科幻小说；这是微调的力量，而 Google Cloud 的 Vertex AI 正在让每个人都能使用它。

2024-06-11 20:00:00 1874

原创 Llama模型家族之Stanford NLP ReFT源代码探索（六）pyvene 基本干预示例-1

pyvene的基本干预的一个代码示例

2024-06-11 19:30:00 827

原创 Llama模型家族之Stanford NLP ReFT源代码探索（七）pyvene 基本干预示例-2

Llama模型家族之Stanford NLP ReFT源代码探索（七）pyvene 基本干预示例-2

2024-06-11 19:30:00 1647

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（一）Vertex AI 简介

Vertex AI 是一个机器学习 (ML) 平台，可让您训练和部署机器学习模型和 AI 应用，以及自定义大型语言模型 (LLM)，以在 AI 驱动的应用中使用。Vertex AI 结合了数据工程、数据科学和机器学习工程工作流，使您的团队能够使用通用工具集进行协作，并利用 Google Cloud 的优势扩缩您的应用。Vertex AI 提供了几种模型训练和部署的选项：借助 AutoML，您可以训练表格、图片、文本或视频数据，不需要编写代码，也不需要准备数据分块。

2024-06-11 19:30:00 1002

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（二）Generative AI on Vertex AI 概览

您可以自定义 Google 基础模型的默认行为，以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示，从而帮助您降低请求的费用并缩短延迟时间。Vertex AI 还提供模型评估工具，可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后，您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。

2024-06-11 19:30:00 1032

原创 Generative AI原理本质、技术内核及工程实践之基于Vertex AI的大模型（三）调优模型概览

对基础模型调优可以提高其性能。基础模型是为一般用途训练的，有时不能按预期执行任务。这可能是因为您希望模型执行的任务是专业任务，很难仅通过问题设计来训练模型。在这些情况下，可以使用模型调优来提高模型针对特定任务的性能。当说明不足时，模型调优还可帮助遵循特定的输出要求。本页面简要介绍了模型调优，介绍了 Vertex AI 上可用的调优选项，并可帮助您确定应在何时使用每个调优选项

2024-06-11 19:30:00 1026