【全网最简单】5分钟构建自己的大模型网站，在Web中运行清华对话大模型ChatGlm-6B

欣华数码

已于 2024-06-10 21:43:14 修改

阅读量409

点赞数 10

分类专栏：大模型深度计算文章标签：前端 python 人工智能 chatgpt

于 2024-06-10 18:44:46 首次发布

本文链接：https://blog.csdn.net/otbc1/article/details/139580197

版权

大模型深度计算专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1 首先参照上篇，搭建本地的ChatGLM-6B对话大模型：

【全网最简单】5分钟基于Win10 搭建本地ChatGLM-6B对话大模型-CSDN博客

2 安装python交互式的Web库Streamlit：

a）打开Conda命令行，进入上篇中使用的虚拟环境：

b）安装Streamlit库：

pip install streamlit

c）验证是否安装成功：

看到这个页面证明安装已经成功。中间可能需要输入邮箱，随便输入一个就行。

3 修改chat_web.py

需修改两句代码：

#此处修改为本地模型数据存放路径
tokenizer = AutoTokenizer.from_pretrained("D:\workplace\ChatModel\chatglm2-6b", trust_remote_code=True)
#此处修改为本地模型数据存放路径
model = AutoModel.from_pretrained("D:\workplace\ChatModel\chatglm2-6b", trust_remote_code=True).cuda()

修改后代码如下：

from transformers import AutoModel, AutoTokenizer
import streamlit as st

st.set_page_config(
    page_title="ChatGLM2-6b 演示",
    page_icon=":robot:",
    layout='wide'
)


@st.cache_resource
def get_model():
#此处修改为本地模型数据存放路径    
    tokenizer = AutoTokenizer.from_pretrained("D:\workplace\ChatModel\chatglm2-6b", trust_remote_code=True)
#此处修改为本地模型数据存放路径
    model = AutoModel.from_pretrained("D:\workplace\ChatModel\chatglm2-6b", trust_remote_code=True).cuda()
    # 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量
    # from utils import load_model_on_gpus
    # model = load_model_on_gpus("THUDM/chatglm2-6b", num_gpus=2)
    model = model.eval()
    return tokenizer, model


tokenizer, model = get_model()

st.title("ChatGLM2-6B")

max_length = st.sidebar.slider(
    'max_length', 0, 32768, 8192, step=1
)
top_p = st.sidebar.slider(
    'top_p', 0.0, 1.0, 0.8, step=0.01
)
temperature = st.sidebar.slider(
    'temperature', 0.0, 1.0, 0.8, step=0.01
)

if 'history' not in st.session_state:
    st.session_state.history = []

if 'past_key_values' not in st.session_state:
    st.session_state.past_key_values = None

for i, (query, response) in enumerate(st.session_state.history):
    with st.chat_message(name="user", avatar="user"):
        st.markdown(query)
    with st.chat_message(name="assistant", avatar="assistant"):
        st.markdown(response)
with st.chat_message(name="user", avatar="user"):
    input_placeholder = st.empty()
with st.chat_message(name="assistant", avatar="assistant"):
    message_placeholder = st.empty()

user_input = st.text_area(label="用户命令输入",
                           height=100,
                           placeholder="请在这儿输入您的命令")

button = st.button("发送", key="predict")

if button:
    input_placeholder.markdown(user_input)
    model_input = user_input
    history, past_key_values = st.session_state.history, st.session_state.past_key_values
    for response, history, past_key_values in model.stream_chat(tokenizer, model_input, history,
                                                                past_key_values=past_key_values,
                                                                max_length=max_length, top_p=top_p,
                                                                temperature=temperature,
                                                                return_past_key_values=True):
        message_placeholder.markdown(response)

    st.session_state.history = history
    st.session_state.past_key_values = past_key_values