1 下载ChatGLM3-6B代码
如下图所示,下载链接: ChatGLM-6B
2 下载ChatGLM-6B模型
可以在modelscope下载模型,下载地址ChatGLM-6B-Models
模型文件如下图所示:
3 C/C++编译环境安装
安装TDM-GCC,下载地址tdm-gcc
开始安装软件,点击Create
选择安装版本,然后Next
选择安装路径,然后Next
打开gcc选项,向下找openmp
勾选openmp,然后Install
等待安装完成
安装完成
检查是否安装成功
4 ChatGLM-6B运行环境
进入pytorch官网,查找安装指令
安装cpu版本pytorch,首先进入自己的虚拟环境,可参考该博客链接: Python环境的安装(Anaconda+VS code+Win 10)
开始安装pytorch
正在安装,如图所示
检查是否安装成功
安装transformers,如图
安装 chardet,如图
安装 sentencepiece,如图
因为本人环境中已经安装过其它包,故本次仅安装以上所列,大家可以根据开始下载的ChatGLM3-main程序包中requirements.txt文件所列进行安装
5 开始运行测试
准备好环境后,便可以进行测试,运行代码如下
import os
import streamlit as st
import torch
from transformers import AutoModel, AutoTokenizer
MODEL_PATH = os.environ.get('MODEL_PATH', './THUDM/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)
st.set_page_config(
page_title="AI_ChatGLM_Assistant",
page_icon=":robot:",
layout="wide"
)
@st.cache_resource
def get_model():
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
# model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()
model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).float()
return tokenizer, model
tokenizer, model = get_model()
if "history" not in st.session_state:
st.session_state.history = []
if "past_key_values" not in st.session_state:
st.session_state.past_key_values = None
max_length = st.sidebar.slider("max_length", 0, 32768, 8192, step=1)
top_p = st.sidebar.slider("top_p", 0.0, 1.0, 0.8, step=0.01)
temperature = st.sidebar.slider("temperature", 0.0, 1.0, 0.6, step=0.01)
buttonClean = st.sidebar.button("清理会话历史", key="clean")
if buttonClean:
st.session_state.history = []
st.session_state.past_key_values = None
if torch.cuda.is_available():
torch.cuda.empty_cache()
st.rerun()
for i, message in enumerate(st.session_state.history):
if message["role"] == "user":
with st.chat_message(name="user", avatar="user"):
st.markdown(message["content"])
else:
with st.chat_message(name="assistant", avatar="assistant"):
st.markdown(message["content"])
with st.chat_message(name="user", avatar="user"):
input_placeholder = st.empty()
with st.chat_message(name="assistant", avatar="assistant"):
message_placeholder = st.empty()
prompt_text = st.chat_input("请输入您的问题")
if prompt_text:
input_placeholder.markdown(prompt_text)
history = st.session_state.history
past_key_values = st.session_state.past_key_values
for response, history, past_key_values in model.stream_chat(
tokenizer,
prompt_text,
history,
past_key_values=past_key_values,
max_length=max_length,
top_p=top_p,
temperature=temperature,
return_past_key_values=True,
):
message_placeholder.markdown(response)
st.session_state.history = history
st.session_state.past_key_values = past_key_values
运行时是使用streamlit运行web的方式,在终端输入命令如下
streamlit run app.py
运行界面如图,首次运行时间会比较久
大功告成
希望本文对大家有帮助,上文若有不妥之处,欢迎指正
分享决定高度,学习拉开差距