Datawhale AI夏令营第四期：动手学大模型应用全栈开发task1

已于 2024-08-09 09:10:12 修改
阅读量762 收藏 21
点赞数 10
文章标签： 人工智能
于 2024-08-08 16:16:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sty0213/article/details/141025690
版权

目录

一、环境配置

二、Demo搭建！

2.1文件下载

2.2安装前端工具 

2.3启动Demo

三、精读baseline

3.1 baseline代码

3.2解决遗留问题

速览：这边笔记将会带大家快速跑一遍baseline，再带大家精读一下baseline。

参考教程：Datawhale

一、环境配置

首先我们配置环境，这里笔者使用阿里云的PAI-DSW服务，可以申请试用，可获得 5000算力时！有效期3个月！开通方法可以参考Datawhale。

去到PAI-DSW创建一个PAI实例并打开：

打开后是这个界面：

二、Demo搭建！

2.1文件下载

我们可以用git将案例文件下来到服务器上：

点击终端出入以下命令后按回车：

git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git

2.2安装前端工具 

在终端输入以下命令，回车运行：

pip install streamlit==1.24.0

之后等待依赖安装成功即可。

2.3启动Demo

在终端输入以下命令，回车运行：

streamlit run AICamp_yuan_baseline/Task\ 1：零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6007

这个Demo是用Streamlit搭建的前端页面，Streamlit简单易上手~可以快速搭建自己的web页面，它还有如下特点：

 实时推理

将大模型部署在后台服务器上，通过 Streamlit 提供的接口，用户可以输入数据，实时获取模型的推理结果。

 交互式调参

使用 Streamlit 的滑块、选择框等组件，允许用户动态调整大模型的参数（如温度、最大生成长度等），并实时查看输出结果。

OK，现在我们点击链接，跳转到新页面：

  

  

等待后台模型下载完成之后就可以对话啦！

我们让他帮忙写一道leetcode：

  

    可以看到生成的代码通过了测试。我们可以多尝试一下，可以给出不同的解法：

我们再让它换一种解法： 

  

 发现报错，具体原因在下一章章节，精读baseline会提到。

三、精读baseline

3.1 baseline代码

# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 创建一个标题和一个副标题
st.title("💬 Yuan2.0 智能编程助手")

# 源大模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('IEITYuan/Yuan2-2B-Mars-hf', cache_dir='./')

# 定义模型路径
path = './IEITYuan/Yuan2-2B-Mars-hf'

# 定义模型数据类型
torch_dtype = torch.bfloat16 # A10
# torch_dtype = torch.float16 # P100

# 定义一个函数，用于获取模型和tokenizer
@st.cache_resource
def get_model():
    print("Creat tokenizer...")
    tokenizer = AutoTokenizer.from_pretrained(path, add_eos_token=False, add_bos_token=False, eos_token='<eod>')
    tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)

    print("Creat model...")
    model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch_dtype, trust_remote_code=True).cuda()

    print("Done.")
    return tokenizer, model

# 加载model和tokenizer
tokenizer, model = get_model()

# 初次运行时，session_state中没有"messages"，需要创建一个空列表
if "messages" not in st.session_state:
    st.session_state["messages"] = []

# 每次对话时，都需要遍历session_state中的所有消息，并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg["role"]).write(msg["content"])

# 如果用户在聊天输入框中输入了内容，则执行以下操作
if prompt := st.chat_input():
    # 将用户的输入添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "user", "content": prompt})

    # 在聊天界面上显示用户的输入
    st.chat_message("user").write(prompt)

    # 调用模型
    prompt = "<n>".join(msg["content"] for msg in st.session_state.messages) + "<sep>" # 拼接对话历史
    inputs = tokenizer(prompt, return_tensors="pt")["input_ids"].cuda()
    outputs = model.generate(inputs, do_sample=False, max_length=1024) # 设置解码方式和最大生成长度
    output = tokenizer.decode(outputs[0])
    response = output.split("<sep>")[-1].replace("<eod>", '')

    # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "assistant", "content": response})

    # 在聊天界面上显示模型的输出
    st.chat_message("assistant").write(response)

来看一下baseline，首先导入必要的库。使用modelscope库下载大语言模型Yuan2.0，并将其缓存到本地目录。

@st.cache_resource是streamlit的装饰器缓存加载的模型，以提高性能。下面我们可以注意一下这两行：

# 将用户的输入添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "user", "content": prompt})
 # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "assistant", "content": response})

这两行会将用户的输入和模型的输出加入到messages列表中，使得模型可以记住你之前说的话，然后把这个messages列表都作为prompt提交给模型，这个功能我们一般也称为Memory，我们尝试注释模型输出这一行试一下：

然后运行：

streamlit run AICamp_yuan_baseline/Task\ 1：零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6007

 

 可以看到我们要求它换一种解法,但是它已经不记得自己刚刚的解法了,给出了相同的结果。

3.2解决遗留问题

这个时候我们再将代码恢复，然后回到第二章的报错问题。

报错信息：ValueError: Input length of input_ids is 1033, but max_length is set to 1024. This can lead to unexpected behavior. You should consider increasing max_length or, better yet, setting max_new_tokens.

可以看到显示我们input_ids的长度超过了max_length，这是因为baseline会将每次用户的输入和模型的输出加入到messages列表中，在多轮对话中会导致messages列表越来越长，直到超过max_length，这时候模型将无法工作。为解决这个问题，笔者提出一下解决思路：

（1）增加max_length：但这可能会超出模型的处理能力，并且可能导致性能问题。

（2）对输入进行截断：不限制输入的长度，但是如果上下文长度不够了，就删除messages列表中最早的output和input，也就是根据条件删除Memory。

修改后的代码如下： 

# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 创建一个标题和一个副标题
st.title("💬 Yuan2.0 智能编程助手")

# 源大模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('IEITYuan/Yuan2-2B-Mars-hf', cache_dir='./')

# 定义模型路径
path = './IEITYuan/Yuan2-2B-Mars-hf'

# 定义模型数据类型
torch_dtype = torch.bfloat16 # A10
# torch_dtype = torch.float16 # P100

# 定义一个函数，用于获取模型和tokenizer
@st.cache_resource
def get_model():
    print("Creat tokenizer...")
    tokenizer = AutoTokenizer.from_pretrained(path, add_eos_token=False, add_bos_token=False, eos_token='<eod>')
    tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)

    print("Creat model...")
    model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch_dtype, trust_remote_code=True).cuda()

    print("Done.")
    return tokenizer, model

# 加载model和tokenizer
tokenizer, model = get_model()

# 初次运行时，session_state中没有"messages"，需要创建一个空列表
if "messages" not in st.session_state:
    st.session_state["messages"] = []

# 每次对话时，都需要遍历session_state中的所有消息，并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg["role"]).write(msg["content"])

# 如果用户在聊天输入框中输入了内容，则执行以下操作
if prompt := st.chat_input():
    # 将用户的输入添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "user", "content": prompt})

    # 在聊天界面上显示用户的输入
    st.chat_message("user").write(prompt)

    # 检查输入长度并删除最早的消息
    while True:
        # 拼接对话历史
        prompt = "<n>".join(msg["content"] for msg in st.session_state.messages) + "<sep>"
        inputs = tokenizer(prompt, return_tensors="pt", truncation=False)["input_ids"]

        # 如果输入长度超过max_length，则删除最早的消息
        if inputs.shape[1] > 1024:
            del st.session_state.messages[0：2]
        else:
            break

    inputs = inputs.cuda()
    outputs = model.generate(inputs, do_sample=False, max_length=1024) 的数量
    output = tokenizer.decode(outputs[0])
    response = output.split("<sep>")[-1].replace("<eod>", '')

    # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "assistant", "content": response})

    # 在聊天界面上显示模型的输出
    st.chat_message("assistant").write(response)

在这段代码中，关键的调整是：

在这段代码中，我们添加了一个while循环，在生成之前检查输入的长度。如果输入的长度超过了最大长度（1024），则删除最早的消息，并重新检查长度，直到输入长度符合要求为止。这样可以确保每次生成的输入长度不会超过模型的最大长度，同时删除最早的消息以保留最近的对话历史。

这里结合了模型的性能来制定方案，baseline使用的是一个小模型，当我们使用支持更大上下文的模型时，可以对应调整参数。

我们看看调整完的效果：

现在不会报错了，但还会有一些模型幻觉问题，可能换一个大一些的模型会有所改善，对于这个问题读者可以提出自己的想法，并在评论留言呀~

sty0213
关注
  • 10
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
08-09
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
Datawhale AI 夏令营机器学习 task1.pdf
07-20
### Datawhale AI 夏令营机器学习 Task1：时间序列预测详解 #### 一、时间序列数据的特点 时间序列数据在很多实际场景中都非常重要，例如天气预报、股票市场分析、销售预测等。理解时间序列数据的特点对于设计有效...
Datawhale AI夏令营第四期- 动手学大模型应用全栈开发方向 task1学习笔记
AlbertLi612的博客
08-08 79
进入搭建好的ai交互界面。安装streamlit。3.环境搭建：先输入。
【Datawhale AI夏令营第四期魔搭- 动手学大模型应用全栈开发方向 task1学习笔记 】
jyxer的博客
08-08 126
因阿里PAI-DSW之前试用的额度已经过期，故使用魔搭的免费Notebook实例进行学习。打卡Notebook后，点击终端。出现终端界面。
动手学大模型应用全栈开发（Datawhale X 魔搭 AI夏令营）
最新发布
Kristina_code的博客
08-09 349
动手学大模型应用全栈开发（Datawhale X 魔搭 AI夏令营）
动手学大模型应用全栈开发#Datahale AI夏令营
2301_79499190的博客
08-09 459
datawhaleAI夏令营第四期#动手学大模型应用全栈开发baseline运行及解读
datawhale开源项目：动手学大模型应用开发第二三次打卡调用大模型API大模型开发流程及架构
soulermax的博客
11-20 2071
Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt。在 ChatGPT 推出并获得大量应用之后，Prompt 开始被推广为给大模型的所有输入。即，我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。例如，在下面示例中，我们给 ChatGPT 的提问 “NLP 中的 Prompt 指什么”是我们的提问，其实也就是我们此次的 Prompt；
Datawhale AI夏令营第四期-大模型应用开发方向Task1
W__hui的博客
08-09 195
共同的目标让我们相聚这里，接下来就自己学习过程对于Datawhale AI的夏令营第四期大模型应用开发方向，做了个初级版教程，供小白参考学习，后期有机会也会通过自己的学习总结相关知识教程，期待和大家一起相互学习，共同进步！：通过学习大模型部署、大模型检索增强生成（Retrieval Augmented Generation, RAG）实战、大模型微调实战，掌握大模型应用全栈开发。自由组队，组队表是所有学习群共用的，可以跨群组队的❗️。点击终端，然后输入如下命令，回车运行！），并填写打卡-组队表。
Datawhale 动手学大模型应用开发 第六章第七章笔记 迭代优化prompt / 大模型评估 / 项目结构 / Gradio&FastAPI
qq_46231296的博客
11-23 277
Datawhale 动手学大模型应用开发 第六章第七章笔记 迭代优化prompt / 大模型评估 / 项目结构 / Gradio&FastAPI
Datawhale AI 夏令营第四期魔搭- 大模型应用开发方向task01笔记
dxyl632956的博客
08-09 108
第三步：输入以下命令，并点击跳转出来的URL，会跳转到如下界面并显示正在运行，等待后台完成模型下载和加载。概述：本笔记主要是对第一次跑大模型应用，完成baseline的记录。第二步： 点击终端打开，并输入指令下载baseline文件。第四步：实现编程助手大模型的运行，可通过对话框进行提问。第一步：点击GPU环境启动，并查看Notebook。
上海交大4月份出品：动手学大模型教程，轻松突破，快速入门LLM大模型
瓦罗兰特顶级C位的博客
06-20 655
就在4月份上交大发布了动手学大模型教程，这份教程来自上海交大。这份教程不仅提供了大模型的入门编程教学，每个部分还包含。的动手学大模型教程，对大模型感兴趣的直接冲！课程讲义拓展，教师是是张倬胜教授。目的是通过简单实践，帮助大家。进行大模型设计和学术研究。
【Datawhale AI 夏令营第三期学习笔记Taks1】 跑通baseline #Datawhale AI 夏令营
07-28
【Datawhale AI 夏令营第三期学习笔记Taks1】 跑通baseline #Datawhale AI 夏令营
大模型微调工具-torchtune
weixin_40777649的博客
08-08 485
1.定义2.安装3. 案例。
jupyter下载
Einstein·Jun
08-06 565
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 909
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 674
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
目标检测的详细介绍
极客栈
08-05 747
目标检测是一项复杂的计算机视觉任务，它不仅需要识别图像中的对象类别，还需要精确地定位每个对象的位置和大小。
RPA+AI有什么应用？6大技术融合方向分析 | 实在RPA研究
SHIZAIZHINENG的博客
08-06 1036
随着数字化转型的加速，企业正寻求更高效、智能的方法来优化业务流程。机器人流程自动化（RPA）作为一种快速兴起的技术，已经证明了其在自动化重复性任务方面的能力。然而，当RPA与各种人工智能（AI）技术相结合时，其潜力将得到更全面的释放。本文将探讨不同的AI技术如何与RPA结合，以及这种结合为企业带来的变革性应用方向。机器学习 (ML)使系统能够从数据中学习和改进提高预测准确性，自动化决策制定风险管理、欺诈检测、个性化推荐银行使用ML增强RPA进行信用评分和欺诈识别计算机视觉 (CV)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值