段智华的博客

原创 ChatGPT底层架构Transformer技术及源码实现（一）

先验概率(Prior)是原有的一个信念或者原有的模型、原有的思维结构，当我们训练的时候是要调整模型P(A)，是没有数据的模型，P(A)要经过数据的调整，在加入数据的情况下来改变P(A)，就是模型的更新。输入数据x产出是y，y的上面有一个波浪号表示模型的预测值，中间经过了两层线性变换，两层线性变换中间会有非线性变换，这些都是深度学习的基本内容，模型的目标是寻找参数w，使得输入的x通过神经网络模型得出y ̃值要尽量的接近标签y，要尽可能的接近于实际的值，从训练的角度，这都是数据处理的基本支持。

原创 GPT内幕机制及源码实现逐行解析 300行源码实现GPT逐行解析

在函数中，先创建了两个卷积层，分别将输入维度d_model转换为中间层维度dff，再将中间层维度dff转换为输出维度d_model。GPT-2使用12层解码器Transformer架构，在自然语言处理任务中，例如问答、机器翻译、阅读理解和摘要等，通常在任务特定的数据集上使用监督学习来处理，GPT-2语言模型在没有监督的情况下学习这些任务，在一个WebText的数百万网页的新数据集上进行训练，GPT-2是一个拥有1.5B个参数的Transformer模型，它在8个测试数据集中的7个数据集上实现了先进的结果。

原创 企业级ChatGPT开发的三大核心内幕及案例实战（四）

该类通过将一个链映射到每个文档上，然后将结果组合起来来实现文档的合并。假设阅读一本书，作者和智华合作写的一本关于Spark方面的书籍，一共1300多页，如果从第一页开始，逐渐去遍历检索信息，无论从速度、还是从性价比的角度，这是一个问题，LangChain给我们提供了一些比较经典的方式，例如map_reduce、map_rerank、refine、stuff等四种方式。这是一个很核心的问题，也是一个很好的面试题，如果对这个问题能有很好理解的话，通过技术面试的第一轮，不会有太大的问题。

原创 企业级ChatGPT开发的三大核心内幕及案例实战（三）

这里使用faiss向量数据库，这是Facebook提供的高效检索的向量数据库工具，使用相似度来进行检索， 相似度是一种很简单的思维，会跟大家谈很多企业级的技巧，远远不止于此，这里面会涉及到一些问题，比如速度问题等等，在代码中，将OpenAI的温度参数（temperature）设置为0，以获得相同的结果，store是基于faiss构建的向量索引库，接下来，根据用户的输入，基于输入信息，跟OpenAI大模型进行交互，它的核心代码本身是很简单的。如图2-3所示，是Notion_DB本身的数据，没什么特殊的地方。

原创 企业级ChatGPT开发的三大核心内幕及案例实战(二)

当然一个好的代理，它是一个动态调整的过程，可以认为它是一个循环（loop），它既能与模型打交道，又能与数据打交道，又能与工具打交道，而且它能够处理异常，并且能够评估整个系统的行为。因为基于大模型做一个对话的AI产品，历史的信息必然会影响当前的信息，当前的信息处在一个上下文中，你当前说一句话，从一种正常的角度，肯定是有上下文的，可能有同学会问第一句话怎么处理，可以将第一句话作为提示词，自动把它设定为上下文，例如，可以指定这个系统是一个数学老师，或者是一个销售，或者是一个工程师来参加面试等等。

原创 企业级ChatGPT开发的三大核心内幕及案例实战（一）

在业界的最佳实践中，一般都会把这些东西封装进框架，业界现在最流行的框架是LangChain，这是开源界公认的最好的大模型框架，是工业界使用最广泛的大模型框架，也是学术界认可最广泛的大模型框架。我们做大模型开发，更经典的一种展现方式是把大模型驱动的系统做成一个插件（Plugins），其他的企业或者实体可以集成我们的插件，这对于大模型时代的开发是非常重要的，因为现在业界逐渐有一个趋势或者共识，所有的应用程序背后都值得用大模型驱动重新开发一遍，重新开发肯定是想使用大模型的一些优势，大模型的优势在于它的推理能力。

原创 基于ChatGPT的端到端语音聊天机器人项目实战（三）

大家通过朴素贝叶斯的思想，比较容易知道概率模型，在重试的时候，不要以简单粗暴方式重试，而应该拿上这个结果，加上你的判断进行重试，你看见那个结果，告诉它不正确，然后你重新生成，这也会有效果，在很多情况下，你应该设立好自己的框架，一个很重要的技术叫Langchain，它做的一个很重要的工作，就是帮你封装了部分此类的操作。但是这里面有一个很重要的问题，从企业级的角度，模型产出的结果可能不符合你的预期，这边有三种情况，第一种是满意度不高，模型给的回复可能是一部分是正确的，但另外一部分是很有问题的；

原创 基于ChatGPT的端到端语音聊天机器人项目实战（二）

OpenAI API使用的费用，根据实际情况可能比较低，也可能比较高，转过来说明了另外一个很重要的问题，也是我们重点跟大家谈的一个内容，就是提示词，同样一件事情，提示词如果写得好的话，使用的标记数量可能只是正常人使用标记数量的1/3，从费用的角度讲，这是一个很大的差异，如果有海量标记的话，每天使用OpenAI的提示词可能是几十万甚至上百万的费用，如果能把它降低为1/3，这显然是一个节约成本的方式。Elevenlabs本身很简单，没什么特别的，以上是它的API部分，也可以看一下它的语音合成，如图1-5所示。

原创 基于ChatGPT的端到端语音聊天机器人项目实战（一）

基于ChatGPT的端到端语音聊天机器人项目实战。

原创 ChatGPT 使用 拓展资料: OPENAI 函数调用和其他 API 更新

ChatGPT 使用 拓展资料: OPENAI 函数调用和其他 API 更新我们在今年早些时候发布gpt-3.5-turbo，gpt-4在短短几个月内，已经看到开发人员在这些模型之上构建了令人难以置信的应用程序。今天，我们将跟进一些令人兴奋的更新：Chat Completions API 中的新函数调用功能gpt-4和的更新和更易于操纵的版本gpt-3.5-turbo新的 16k 上下文版本gpt-3.5-turbo（与标准 4k 版本相比）我们最先进的嵌入模型的成本降低了 75%

原创 企业级ChatGPT开发入门实战直播21课第2课 运行日志及代码解析

企业级ChatGPT开发入门实战直播21课第2课 运行日志及代码解析。

原创 ChatGPT 使用 拓展资料:大模型底层原理与应用开发范式

ChatGPT 使用 拓展资料:大模型底层原理与应用开发范式。

转载 来自硅谷企业级ChatGPT大模型开发入门实战直播试听课

来自硅谷企业级ChatGPT大模型开发入门实战直播试听课片段11. "打造完美的工业级ChatGPT，提示词Prompt四大核心不可或缺！结合理论与实践，打破你的认知，让模型预测效果超越你的想象。不再只是概念，而是实际操作指南，让你实战中快速成长！"2. "遇到产品级ChatGPT的输出问题和错误无法解决？我们深度解析策略和实战技巧，帮你轻松解决输出问题，确保模型运行的稳定性和准确性。让你的Ch...

原创 2023全球人工智能技术大会 ChatGPT专题论坛

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT 端到端的示例

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT 端到端的示例步骤1：输入通过审核检查。步骤2：提取产品列表。第三步：查找产品信息。步骤4：生成对用户问题的响应。步骤5：响应通过审核检查。第6步：模型评估响应。步骤7：模型批准了响应。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 系统评估2

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 系统评估 。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 系统评估1

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 系统评估1在前面的几段视频中，用户展示了如何使用一个小时来构建应用程序，从评估这些输入到处理输入，再到进行最终打开检查，再到向用户显示输出。显然是构建了这样一个系统。你怎么知道它是如何工作的？也许即使你部署了它并让用户使用它，你如何跟踪进展情况并找到这些不足之处，并继续提高系统中答案的质量？在这个视频中，我想和大家分享一些评估Elm输出的最佳实践。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 输出检查

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 输出检查在本视频中，将重点检查系统生成的输出。在向用户展示输出之前检查输出对于确保质量非常重要，提供给他们的响应的相关性和安全性，或者使用自动化或学习如何使用Moderation API。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 链式提示

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 链式提示在本视频中，我们将学习如何通过将多个提示链接在一起，将复杂的任务拆分为一系列更简单的子任务。你可能会想，为什么要将一个任务拆分为多个提示，而你可以像我们在上一个视频中学到的那样，通过一个提示和思维推理链来实现它？我们已经证明，语言模型非常善于遵循复杂的结构，尤其是像GPT 4这样更先进的模型。所以让我解释一下为什么我们要用两个类比来做这件事——比较思维链、推理和链接多个提示。比较这

转载 企业级ChatGPT开发入门实战直播21课

课程名称：企业级ChatGPT开发入门实战直播21课Throughout this course, we firmly believe that the true power anddistinctiveness of language model applications lie in their ability to connectwith external data sources an...

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 思维链

在本节中，我们将重点讨论要处理输出的任务，这些任务通常通过一系列步骤来获取输入并生成有用的输出。有时，在回答特定问题之前，模型详细推理问题是很重要的。如果你参加了我们之前为开发人员提供的提示工程课程，你会看到很多这样的例子。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 内容审查

评估输入：内容审查

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 分类

ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 分类在本节中，我们将重点讨论评估输入的任务，这对确保系统的质量和安全非常重要。需要大量独立的指令集来处理不同的情况。首先对查询类型进行分类，然后使用该分类来确定要使用的指令，这是有益的。这可以通过定义固定类别和对与处理相关的指令进行硬编码来实现给定类别中的任务。例如，在构建客户服务助理时，首先对查询类型进行分类，然后根据该分类确定要使用的说明可能很重要。

原创 ChatGPT 使用 拓展资料:吴恩达大咖 Building Systems with the ChatGPT API 构建聊天形式的模版

欢迎来到本课程，学习如何使用聊天API构建系统，之前我介绍了如何使用提示语调用API，但系统需要的不仅仅是单个提示或对 语言模型的单个调用。在这门简短的课程中，我们想与您分享构建复杂应用程序的最佳实践。我们使用构建端到端客户服务助理系统的运行示例，该系统根据前一个调用的输出，使用不同的指令将多个调用链接到一个语言模型，有时甚至从外部源查找。例如，给出一个用户输入，告诉我有什么电视在卖。我们会使用以下步骤来处理这个问题。首先，你可以评估输入，以确保它不包含任何有问题的内容，例如仇恨言论。

原创 ChatGPT 使用 拓展资料:大模型时代的开发者新机遇

ChatGPT 使用 拓展资料:大模型时代的开发者新机遇在这里插入图片描述NLP&ChatGPT&LLMs技术、源码、案例实战210课**

原创 ChatGPT 使用 拓展资料: 从GLM 到ChatGLM：大模型预训练与微调

ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。

原创 ChatGPT 使用 拓展资料：吴恩达大咖 基于LangChain的LLM应用程序开发-1

ChatGPT 使用 拓展资料：吴恩达大咖 基于LangChain的LLM应用程序开发基于LangChain的LLM应用程序开发。

原创 ChatGPT 使用 拓展资料：2023年6月 吴恩达大咖Deeplearning.ai最新课程

ChatGPT 使用 拓展资料：2023年6月 吴恩达大咖Deeplearning.ai最新课程。

原创 NLP&ChatGPT&LLMs技术、源码、案例实战210课

6， ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。

原创 NLP&ChatGPT&LLMs技术、源码、案例实战210课

6， ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。

原创 ChatGPT 使用 拓展资料：开始构建你的优质Prompt

ChatGPT 使用 拓展资料：开始构建你的优质Prompt。

原创 ChatGPT 使用 拓展资料：如何善用大语言模型的推理能力？

ChatGPT 使用 拓展资料：如何善用大语言模型的推理能力？

原创 Rasa 3.x 学习系列-Rasa [3.5.8] -2023-05-12新版本发布

Rasa 3.x 学习系列-Rasa [3.5.8] -2023-05-12新版本发布当自定义动作设置的值与槽的现有值相同时，将触发SlotSet事件。修复了这个问题，使AugmentedMemoizationPolicy能够正确地处理截断的跟踪器。为了恢复以前的行为，自定义操作只有在槽值发生变化时才能返回SlotSet。例如,

原创 ChatGPT 使用 强化学习：Proximal Policy Optimization算法（详细图解）

ChatGPT 使用 强化学习：Proximal Policy Optimization算法强化学习中的PPO（Proximal Policy Optimization）算法是一种高效的策略优化方法，它对于许多任务来说具有很好的性能。PPO的核心思想是限制策略更新的幅度，以实现更稳定的训练过程。接下来，我将分步骤向您介绍PPO算法。

原创 Rasa 3.x 学习系列-Rasa [3.5.4] -2023-04-05新版本发布

Rasa 3.x 学习系列-Rasa [3.5.4] -2023-04-0新版本发布Rasa Pro 3.5 中引入的两项新功能将帮助您更好地测试和保护您的 AI 助手：端到端测试和机密管理。

原创 ChatGPT 使用 拓展资料：使用 HuggingFace+Gradio 部署快速搭建一个ChatGPT的聊天界面

ChatGPT 使用 拓展资料：使用 HuggingFace+Gradio 部署快速搭建一个ChatGPT的聊天界面https://huggingface.co/spaces/duanzhihua/AI-ChatGPT🚀 Get started with your gradio Space!Your new space has been created, follow these steps to get started (or read our full documentation )Start by

原创 ChatGPT 使用 拓展资料：大模型训练为什么这么难

ChatGPT 使用 拓展资料：大模型训练为什么这么难。

原创 ChatGPT 使用 拓展资料：如何处理OpenAI 对 API 的调用限速

ChatGPT 使用 拓展资料：如何处理OpenAI 对 API 的调用限速对文本进行分类的方法有很多，本文分享 一个使用嵌入的文本分类的例子。对于许多文本分类任务，我们已经看到经过微调的模型比嵌入做得更好。参见Fine-tuned_classification.ipynb中的一个用于分类的微调模型示例。在这个文本分类任务中，我们基于评论文本的嵌入来预测食品评论的得分(1到5)。我们将数据集分为用于所有以下任务的训练集和测试集， 数据集创建在Obtain_dataset Notebook中。数据集fin

原创 ChatGPT 使用 拓展资料：用 Rasa Open Source 和 ChatGPT 回答有关结构化数据的问题

大多数聊天机器人查询 API 和/或数据库以与对话之外的世界进行交互。自定义操作是在 Rasa 中构建该功能的便捷方式。对于此示例，我们有两个自定义操作。第一个操作，action_show_restaurants从 API 获取餐厅推荐，将它们呈现给用户，并将结果存储在槽中。第二个动作回答后续问题，从“结果”槽中获取先前 API 调用的结果，并使用 ChatGPT API 回答问题。在上面的示例对话中，用户询问“其中哪些有 Wifi？

原创 ChatGPT 使用 拓展资料：强化学习 策略梯度算法及Actor_Critic算法

ChatGPT 使用 拓展资料：强化学习 策略梯度算法及Actor_Critic算法策略梯度算法是一类基于梯度的优化算法，用于求解强化学习中的策略函数，即输入状态，输出行动的函数。相对于其他的强化学习算法，策略梯度算法更加适合处理连续行动和高维状态空间的问题。策略梯度算法的基本思想是通过迭代优化策略函数的参数，来最大化期望回报。在策略梯度算法中，每次迭代中都会收集一些经验数据，例如某一状态下采取某一行动所获得的回报值等，然后使用这些经验数据来计算策略函数的梯度。