qq_37756660的博客

因为 AI 大模型领域每天都在发生新的变化，在整个写的过程中，突发情况层出不穷。比如，因为开源项目的版本升级很频繁，甚至很多升级是不向前兼容的，导致很多提前写完的不得不二次回炉返工。早早就写完了第 11 讲，里面介绍了如何使用 llama-index 来分片索引文章，并且让 ChatGPT 能够根据上下文来更准确地回答问题。但是，就在实际要发的前几天，llama-index 就进行了大规模地大升级，所有的 API 接口都发生了变化。

学到这里，这个课程终于到了尾声。过去的二十多讲里，我们围绕着文本、语音、视频、图像体验了大量的 AI 应用场景。不过在这些场景里，我们还只是通过撰写代码体验了 AI 的能力。那么，如果我们今天想通过学习到的这些知识，开发一个真正的 AI 应用，需要注意些什么呢？我们是只需要简单地给我们的 Python 代码封装一个对话框一样的用户界面就可以了吗？如果你有这样的疑惑，那请一定要坚持学完这最后一讲。我们一起来看看 Midjourney 这个 AI 画画的应用是怎么做的。它在整个应用的体验里考虑了哪些设计原则。

过去三讲里，我们分别体验了 CLIP、Stable Diffusion 和 ControlNet 这三个模型。我们用这些模型来识别图片的内容，或者通过输入一段文本指令来画图。这些模型都是所谓的多模态模型，能够把图片和文本信息联系在一起。不过，如果我们不仅仅是要随便找几个关键词画两张画玩个票，而是要在实际的工作环境里生成能用的图片，那么现在的体验还是远远不够的。对于画出来的图我们总有各种各样的修改和编辑的需求。

上一讲，我们一起体验了 CLIP 这个多模态的模型。在这个模型里，我们已经能够把一段文本和对应的图片关联起来了。看到文本和图片的关联，想必你也能联想到过去半年非常火热的“文生图”（Text-To-Image）的应用浪潮了。相比于在大语言模型里 OpenAI 的一枝独秀。文生图领域就属于百花齐放了，OpenAI 陆续发表了 DALL-E 和，Google 也不甘示弱地发表了，而市场上实际被用得最多、反馈最好的用户端产品是。不过，在整个技术社区里，最流行的产品则是 Stable Diffusion。

比如 ImageNet 就是预先定义好了 1000 个分类。另一个是。

过去几讲里，我们一起为 AI 加上了语音能力。而且相对于大语言模型，语音识别和语音合成都有完全可以用于商业应用的开源模型。事实上，Huggingface 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下，这个开源模型已经足够我们使用了。不过，在使用这些开源模型的过程中，你会发现大部分模型都需要一块不错的显卡。而如果回到我们更早使用过的开源大语言模型，就更是这样了。在课程里面，我们是通过用 Colab 免费的 GPU 资源来搞定的。

上一讲里，我们已经学会了通过 AI 来进行语音合成。有了语音识别、ChatGPT，再加上这个语音合成，我们就可以做一个能和我们语音聊天的机器人了。不过光有声音还不够，我们还希望这个声音可以是某一个特定的人的声音。就好像在电影《Her》里面那样，AI 因为用了影星斯嘉丽·约翰逊的配音，也吸引到不少观众。最后，光有声音还不够，我们还希望能够有视觉上的效果，最好能够模拟自己真的在镜头面前侃侃而谈的样子。这些需求结合在一起，就是最近市面上很火的“数字人”，也是我们这一讲要学习的内容。

上一讲里，我们通过 Whisper 模型，让 AI“听懂”了我们在说什么。我们可以利用这个能力，让 AI 替我们听播客、做小结。不过，这只是我们和 AI 的单向沟通。那我们能不能更进一步，让 AI 不仅能“听懂”我们说的话，通过 ChatGPT 去回答我们问的问题，最后还能让 AI 把这些内容合成为语音，“说”给我们听呢？当然可以，这也是我们这一讲的主题，会带你一起来让 AI 说话。

前一阵刚听过一个。

在之前介绍 llama-index 和 LangChain 的几讲里面，我们学习了如何将大语言模型和你自己的知识库组合到一起来解决问题。这个方法中，我们不需要对我们使用的模型做任何调整，而是通过将我们的数据用 Embedding 向量索引起来，然后在使用的时候查询索引来解决问题。不过，其实我们也完全可以利用我们自己的数据，创建一个新的模型来回答问题。这个方法，就是 OpenAI 提供的模型微调（Fine-tune）功能。这也是我们要探讨的大语言模型的最后一个主题。

在第 11 讲里，讲解了如何把各种资料的内容向量化，然后通过 llama-index 建立对应的索引，实现对我们自己的文本资料的问答。而在过去的 3 讲里面，我们又深入了解了如何使用 Langchain。Langchain 能够便于我们把 AI 对语言的理解和组织能力、外部各种资料或者 SaaS 的 API，以及你自己撰写的代码整合到一起来。通过对这些能力的整合，我们就可以通过自然语言完成更加复杂的任务了，而不仅仅只是能闲聊。不过，到目前为止。

在过去的两讲里，我们深入了解了 Langchain 的第一个核心功能，也就是 LLMChain。LLMChain 能够帮助我们链式地调用一系列命令，这里面既包含直接调用 OpenAI 的 API，也包括调用其他外部接口，或者自己实现的 Python 代码。但是这一连串的调用，还只是完成一个小任务。我们很多时候还是希望用一个互动聊天的过程，来完成整个任务。所以 LangChain 并不是只有链式调用这样一个核心功能，它还封装了很多其他能力，来方便我们开发 AI 应用。

上一讲里，我们一起学习了怎么通过 LangChain 这个 Python 包，链式地调用 OpenAI 的 API。通过链式调用的方式，我们可以把一个需要询问 AI 多轮才能解决的问题封装起来，把一个通过自然语言多轮调用才能解决的问题，变成了一个函数调用。不过，LangChain 能够帮到我们的远不止这一点。前一阵，ChatGPT 发布了这个插件机制。通过 Plugins，ChatGPT 可以浏览整个互联网，还可以接上 Wolfram 这样的科学计算工具，能够实现很多原先光靠大语言模型解决不好的问题。

不然，这个变量没有值，程序就会报错。

上一讲，我们一起通过 ChatGPT 做了一个小应用。不过，这个过程并不是一个“自动档”的。我们尝试一步一步输入我们的需求，给到 ChatGPT，并根据拿到的指示尝试运行代码。通过和 ChatGPT 不断地交互，我们最终完成了一个小应用。虽然这在我们探索性地开发一些功能的时候，已经极大地提高了我们的效率。但是这个过程并不能做成一个产品。我们理想中的产品应该是“自动档”的，我们只要用自然语言输入自己的需求，对应的代码就自动写出来了。

原先 AI 生成的解析 JSON 的代码，使用的是正则表达式，而不是对 JSON 进行反序列化。而且给运营人员用，我们也不希望再重新拼接成 JSON 格式。所以，这个时候我们不妨问一问 ChatGPT，怎么把 JSON 反序列化。注：对应的整个对话参见链接ChatGPT 给了我们示例，告诉我们可以在 GitHub 上找到对应的函数库。如果你按图索骥，就能在VBA-JSON和找到我们需要的库。并且按照文档的要求，在 VBA 编辑器里通过 “文件”=>“导入文件” 来导入函数库。

不知道课程上到这里，你账户里免费的 5 美元的额度还剩下多少了？如果尝试着完成给的几个数据集里的思考题，相信这个额度应该是不太够用的。而 ChatCompletion 的接口，又需要传入大量的上下文信息，实际消耗的 Token 数量其实比我们感觉的要多。而且，除了费用之外，还有一个问题是数据安全。因为每个国家的数据监管要求不同，并不是所有的数据，都适合通过 OpenAI 的 API 来处理的。所以，从这两个角度出发，我们需要一个 OpenAI 以外的解决方案。

有不少人在使用 OpenAI 提供的 GPT 系列模型的时候，都反馈效果并不好。这些反馈中有一大类问题，是回答不了一些简单的问题。比如当我们用中文问 AI 一些事实性的问题，AI 很容易胡编乱造。而当你问它最近发生的新闻事件的时候，它就干脆告诉你它不知道 21 年之后的事情。本来呢，我写到这里就可以了。不过到了 3 月 24 日，OpenAI 推出了 ChatGPT Plugins 这个功能，可以让 ChatGPT 通过插件的形式链接外部的第三方应用。

在过去的 8 讲里面，相信你已经对 Embedding 和 Completion 接口非常熟悉了。Embedding 向量适合作为一个中间结果，用于传统的机器学习场景，比如分类、聚类。而 Completion 接口，一方面可以直接拿来作为一个聊天机器人，另一方面，你只要善用提示词，就能完成合理的文案撰写、文本摘要、机器翻译等一系列的工作。不过，很多同学可能会说，这个和我的日常工作又没有什么关系。的确，日常我们的需求里面，最常使用自然语言处理（NLP）技术的，是搜索、广告、推荐这样的业务。

前面，我们已经把 OpenAI 最主要的接口介绍完了。这一讲也是我们基础知识篇里面的最后一讲，我们会覆盖完 OpenAI 的 GPT 系列模型剩下的一些接口。也许有些接口你不一定会频繁使用，但是了解一下没有什么坏处，说不定你有什么需求就能用得上它。在这一讲里，我们会一起来看看 OpenAI 为文本改写和内容审核提供的功能有哪些。以及 OpenAI 的 GPT 系列有哪些模型，这些模型有哪些区别，什么情况下我们应该用什么模型。

不过啊，在真实的应用场景里，我们拿来进行文本聚类的数据，多半并没有什么分组信息。过去，我们要去给聚合出来的类取一个名字，往往只能选择看看各个类里面的文本是什么内容。靠我们的“人脑”给“电脑”做出的选择起一个我们觉得合适的名字。比如，对应到这里的 20 个分类的数据，往往我们只能每个挑上几篇内容，人工读一遍，再取一个名字。而如果你英文不太好，那可就太痛苦了。不过，既然有了 OpenAI 的 Completion 接口，我们完全可以让 AI 给我们聚合出来的类起一个名字。

过去的两讲，我们通过 OpenAI 提供的 Embedding 接口，完成了文本分类的功能。那么，这一讲里，我们重新回到 Completion 接口。而且这一讲里，我们还会快速搭建出一个有界面的聊天机器人来给你用。在这个过程里，也会第一次使用 HuggingFace 这个平台。HuggingFace 是现在最流行的深度模型的社区，可以在里面下载到最新开源的模型，以及看到别人提供的示例代码。

上一讲里我们看到大模型的确有效。在进行情感分析的时候，我们通过 OpenAI 的 API 拿到的 Embedding，比 T5-base 这样单机可以运行的小模型，效果还是好很多的。不过，我们之前选用的问题的确有点太简单了。我们把 5 个不同的分数分成了正面、负面和中性，还去掉了相对难以判断的“中性”评价，这样我们判断的准确率高的确是比较好实现的。但如果我们想要准确地预测出具体的分数呢？

给出一段文本，OpenAI 就能返回给你一个 Embedding 向量，这是因为它的背后是 GPT-3 这个超大规模的预训练模型（Pre-trained Model）。事实上，GPT 的英文全称翻译过来就是“生成式预训练 Transformer（Generative Pre-trained Transformer）”。所谓预训练模型，就是虽然我们没有看过你想要解决的问题，比如这里我们在情感分析里看到的用户评论和评分。但是，我可以拿很多我能找到的文本，比如网页文章、维基百科里的文章，各种书籍的电子版等等，

这一讲，我们来看看 Open AI 提供的 Completion 这个 API 接口。相信已经有不少人试过和 ChatGPT 聊天了，也有过非常惊艳的体验，特别是让 ChatGPT 帮我们写各种材料。那么，我们不妨也从这样一个需求开始吧。这一讲里，我们没有选用目前常用的 gpt-3.5-turbo 或者 gpt-4 相关的模型，而是使用了 text-davinci-003 这个不是为了对话使用的模型。

上一讲我们看到了，大型语言模型的接口其实非常简单。像 OpenAI 就只提供了 Complete 和 Embedding 两个接口，其中，Complete 可以让模型根据你的输入进行自动续写，Embedding 可以将你输入的文本转化成向量。不过到这里，你的疑问可能就来了。不是说现在的大语言模型很厉害吗？传统的自然语言处理问题都可以通过大模型解决。可是用这么简单的两个 API，能够完成原来需要通过各种 NLP 技术解决的问题吗？

欢迎你打开 AI 世界的大门。我猜你是被这段时间大火的 ChatGPT 吸引过来的吧？既然你是带着这样的目的打开了这门课程，那么也一定会给你想要的。我们的课程会先从 ChatGPT 的主题开始，在接下来的几讲里，会介绍如何使用 OpenAI 的 API 来和 AI 应用沟通。这些 API 背后，其实和 ChatGPT 一样，使用的是 OpenAI 的 GPT-3.5//GPT-4 系列的大语言模型。整个课程，我们都会使用真实的数据、代码来演示如何利用好大语言模型。所以这一讲，会先带你做好一系列准备工作。

今天，我们就专门来聊一聊，应该怎么来学习这门课程。并且更进一步地来说，在 AI 爆发的当前，学习这件事情本身应该发生什么样的变化。

如果你想实现一个电商客服，你不仅需要检索知识库和问答的能力，同样需要去连接你现有的订单和物流信息的能力。如何在 AI 应用的开发过程中，将复杂的业务流程串起来，不是简单地调用一下 API 就能做到的。但是在学习完这个课程之后，相信这些对你都不再是难事儿了。那针对这四个目标，把课程分成了 3 个模块。第一个模块，是。