大模型应用开发：运行你的第一个聊天程序

大模型老猿

于 2024-09-28 15:01:19 发布

阅读量410

点赞数 14

文章标签：人工智能自然语言处理 langchain 大模型 llama 大语言模型 LLM

本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/142615959

版权

本系列文章介绍基于OpenAI GPT API开发大模型应用的方法，适合从零开始，也适合查缺补漏。

本文首先介绍基于聊天API编程的方法。

环境搭建

很多机器学习框架和类库都是使用Python编写的，OpenAI提供的很多例子也是Python编写的，所以为了方便学习，我们这个教程也使用Python。

Python环境搭建

Python环境搭建有很多种方法，我们这里需要使用 Python 3.10 的环境，如果你已经具备或者自己很清楚怎么搭建，请跳过这个小节。

Anaconda安装

Anaconda 可以简单理解为一个软件包管理器，通过它我们可以方便的管理Python运行环境。

Anaconda 的官方下载地址是：https://www.anaconda.com/download，页面如下图所示：

在这里插入图片描述

请注意选择你使用的操作系统，整个安装包有800多M，下载时间取决于你的网路。

Anaconda 的安装比较简单，但是安装中间还需要下载很多程序，所以需要的时间可能会久一点；另外全部安装完毕后，可能会占用5G多的硬盘空间，需要提前预留好。

Anaconda 集成了一些方便的工具，安装完成后，我们可以使用 Anaconda Navigator 来启动它们。在Windows系统下，我们可以在开始菜单中找到这个 Anaconda Navigator，就是下面图片中的这个。

在这里插入图片描述

JupyterLab

启动 Anaconda Navigator 后，在右边的应用列表中找到 JupyterLab。

JupyterLab 是一个Web的交互式计算窗口，能在网页中运行Python程序，可以省掉很多麻烦。

在这里插入图片描述

启动后，窗口界面如下所示。左边是当前用户的根目录，右边有一些功能入口，我们先不管。

我们在左侧根目录下点击右键创建一个文件夹：gptdemo，名字可以随便起，后边我们的程序都放到这里边。

在这里插入图片描述

然后我们双击进入 gptdemo，再点击右键创建一个 Notebook，Notebook 可以记录文字、编写代码并执行。

在这里插入图片描述

在左侧文件夹中双击新创建的Notebook，它会在右侧编辑区打开，在工具栏的“Cell Type”中选择“Code”，然后点击工具栏前边的加号（+），Notebook中就会自动创建一个代码Cell，这种Cell既可以运行Python代码，也可以执行各种Shell指令。在这里插入图片描述

安装OpenAI包

执行下边的命令，安装openai的python sdk。

pip install --upgrade openai httpx[socks]

这个只需要安装成功一次就行了。

下图是JupyterLab中的命令执行效果演示：

在这里插入图片描述

代码演练

下边进入本文的重点，运行一个GPT程序。

在这个程序中，我们还是让 GPT 扮演一个善于出题的小学数学老师。

可以先把下边的代码粘贴到你的开发环境中运行一下，后面我会解释各个参数。

注意替换 api_key，没有的可以去注册一个或者找人购入一个。

from openai import OpenAI

client = OpenAI(api_key='sk-xxx')
stream = client.chat.completions.create(
    messages=[{
        "role": "system", "content": "你是一名数学老师，从事小学数学教育30年，精通设计各种数学考试题"
    },{
        "role": "user", "content": "你是谁？请以json返回"
    }],
    model='gpt-3.5-turbo-1106',
    max_tokens:1024,
    #temperature=0.1,
    top_p=0.3,
    #frequency_penalty=0.5,
    presence_penalty=0.2,
    seed=12345,
    #stop='30年',
    response_format={ "type": "json_object" },
    n=1,
    stream=True
)

for chunk in stream:
    msg = chunk.choices[0].delta.content
    if msg is not None:
        print(msg, end='')

我们需要先创建一个客户端：client = OpenAI(api_key=‘sk-xxx’)，注意替换其中的 api-key。

然后我们使用 client.chat.completions.create 来创建一个聊天 Completion。Completion这个单词怎么理解呢？这有点类似搜索框中的那种联想输入，我们输入部分字符，它就会生成一组补全的查询词语列表，这个技术叫：Auto Complete。

在这里插入图片描述

理解Token

因为很多参数都涉及到Token的概念，所以在开始介绍参数之前，我们先来理解下 Token 这个概念。

在大模型中，模型的输入和输出实际都是Token。Token不是完全对照到单词或者字符的，大模型处理数据时，文本会被切分成单个元素或标记，也就是Token，这些Token可能是单词、字符或单词的一部分。

大模型使用Token而不是直接使用单词或字符的原因主要是效率、灵活性和性能的问题。例如大词汇表会导致模型参数数量剧增，增加内存需求和计算成本，而使用子词可以降低词汇表的大小，特别是含有大量专有名词的语料库，同时子词还可以避免单个字符携带信息可能过少，导致需要处理更长序列才能理解文本的问题。另外子词对于一些语言还具备跨语言表示的能力，子词还可以让模型更好地学习和理解单词的形态变化和复杂的词形构造规则。

比如对于这个句子：I don’t like cats.

其拆分后的Token序列可能是：[“I”, “do”, “n’t”, “like”, “cats”, “.”]

注意，不同的模型可能会采用不同的切分方法。

completion参数

然后我们看下这几个参数：

messages：聊天的上下文，里边可以包含多条消息。GPT会针对最后一条消息，结合上下文，生成文本内容。每条消息可以设定role、name、content。

- role：就是会话中的角色，可以选择：system（系统）、assistant（GPT）、user（用户）
- name：用来区分同一个角色中的不同人物。
- content：具体角色发出的消息内容。

model：本次会话使用的GPT模型，最新的3.5模型是 gpt-3.5-turbo-1106，训练数据截止2021年9月份，上下文窗口的最大token数为16K；最新的4模型是gpt-4-1106-preview，训练数据截止2023年4月份，上下文窗口的最大token数为128K。
max_tokens：本次Completion允许生成的最大token数量，token数量和字符数量实际上不是对等的，不过也可以简单的认为就是字符数量。messages中输入的token数量和生成的token数量不能超过模型上下文窗口的最大token数量。
temperature：生成时对token进行采样的温度，取值范围为 0-2 的float，默认值为1。值越小输出越确定，值越大输出越随机，可能会跳出上下文约束，甚至输出不可读的乱七八糟字符。
top_p：temperature 的替代方法，称为核采样。取值范围为 0-1 的float，默认值为1。模型考虑具有top_p概率质量的标记的结果，比如 0.1 表示仅考虑概率最大的前10%的token。注意不要同时更改 temperature 和 top_p。
frequency_penalty：频率惩罚，用于降低生成重复token的可能性，它基于相关token出现的频率产生影响。取值范围 -2.0 到 2.0 ，默认值为0。一般限制重复时建议设置为0.1-1，强烈限制重复可设置为2，但是生成的质量可能会比较低，负值可用于增加重复。
presence_penalty：存在惩罚，也是用于降低生成重复token的可能性，和频率惩罚相比，它跟踪的是相关token有没有出现过至少一次。取值范围 -2.0 到 2.0，默认值为0。一般限制重复时建议设置为0.1-1，强烈限制重复可设置为2，但是生成的质量可能会比较低，负值可用于增加重复。
seed：这个参数是为了尽可能的提高输出的确定性。使用相同的种子和相同的其它参数，会尽可能的输出相同的结果。
stop：GPT生成文字时，遇到这些字符会停止继续生成。最多4个字符。
response_format：生成文本的格式。虽然我们也可以在聊天内容中直接要求以某种格式返回，但是这是没有保障的，也可能返回别的格式，但是如果再加上这个参数，就可以确保生成内容的格式了。
n：一次返回几条结果，默认为1。使用时建议设置 stream=false，可以从 choices 中获取多条结果。
stream：流式输出与否，一般都采用流式输出，看着比较像真人说话。

看下这个运行效果吧：在这里插入图片描述

以上就是本文的主要内容，GPT编程是不是挺简单的？！

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望