引言
近期智谱AI上线了支持100万上下文的大模型glm-4-long,该模型专为处理超长文本和记忆型任务设计。100万大约相当2本红楼梦或者125篇科研论文的长度,如此强悍的模型,赶紧测评一波效果。
测评方式
使用官方提供的SDK实现模型API的调用,使用PyMuPDF库读取pdf文档。SDK调用官方文档链接如下:智谱AI开放平台 (aminer.cn)https://maas.aminer.cn/dev/api#overview
调用前准备
1、创建虚拟环境
使用conda为本次测评创建专用虚拟环境,创建完成后激活。
conda create -n <env_name> [python=<version>]
conda activate <env_name>
2、安装智谱SDK
pip install zhipuai
3、安装PyMuPDF库
pip install PyMuPDF
4、获取API Key
进入智谱Maas开放平台控制台,点击添加新的API Key。
开始调用测试
1、准备测试文档
本次使用处理后的Python Crash Course英文版作为测试文档,共计214页,使用len函数计算得到测试文档长度约有43万字符。
2、编写测试代码
import fitz
#导入PyMuPDF库,用于读取PDF文件
from zhipuai import ZhipuAI
API_key = "your API key"
# 读取PDF文件内容的函数
def read_pdf(file_path):
# 使用PyMuPDF打开PDF文件
pdf_document = fitz.open(file_path)
text = ""
# 遍历PDF的每一页
for page in pdf_document:
# 提取页面上的文本
text += page.get_text()
# 关闭PDF文件
pdf_document.close()
return text
path=r"your file path"
query=read_pdf(path)
print(len(query))
client = ZhipuAI(api_key=API_key)
response = client.chat.completions.create(
model="glm-4-long", # 智谱100万上下文大模型
messages=[
{"role": "system", "content": "你是一个乐于解答各种问题的助手。"},
{"role": "user", "content": f"""请你帮我总结一下{query},输出知识大纲"""},
],
# stream=false,
)
print(response.choices[0].message.content)
3、查看测试效果
4、token耗用量
进入智谱Maas开放平台控制台,查看到本次测评token耗用量约10万。
测评效果分析
从测评效果来看,glm-4-long的长文本能力强的离谱,读完一本43万字符的英文文档并输出知识大纲,只需30秒。人类没有掌握的“量子波动速读”,大模型已经学会了🐶
测评后记
1、卷不过AI了
之前我以为AI是来辅佐我的,结果你告诉我AI要卷死我?
现在AI已经有100万上下文能力了,照这个迭代速度,智谱AI再搞出个1000万上下文的大模型我是完全不会意外的,毕竟除了卷死人类,还要卷死友商!
2、卷不过就加入
思路决定出路,卷不过AI,那就驾驭AI吧!
既然有100万上下文能力的AI,那完全可以向它投喂各种知识文档,让AI变成一对一专属学习助手,让AI讲解知识点、提炼内容、评估学习效果,让AI为人类打工!