2024年6月7日,智谱ai对Batch API进行了升级,让我们看下本次升级了什么功能
前置文章:https://blog.csdn.net/do__something/article/details/139041102?spm=1001.2014.3001.5501
2.1 支持了新模型
- glm-4v:多模态模型,实现了视觉语言特征的深度融合;支持视觉问答、图像字幕、视觉定位、复杂目标检测等各类图像理解任务。通俗理解就是图生文
- cogview-3:图像大模型,适用多种图像生成任务,通过对用户文字描述快速生成图片。通俗理解就是文生图。
- embedding-2:文本向量模型,将输入的文本信息进行向量化表示,是知识库的基础。通俗理解就是文生特征。
与glm-4、glm-3-turbo模型相同,其他模型使用Batch API也是相同的3步:
1️⃣上传Batch文件
2️⃣创建Batch任务
3️⃣等待Batch处理完成
注:我们只需要注意不通模型的json格式即可。
2.1.1 glm-4v的使用
glm-4v格式:
{"custom_id":"request-1","method":"POST","url":"/v4/chat/completions","body":{"model":"glm-4v","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":[{"type":"text","text":"请描述图中的内容。"},{"type":"image_url","image_url":{"url":"https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F0228%2F54d1649bj00s9k7ef001ed000hs00o5m.jpg&thumbnail=660x2147483647&quality=80&type=jpg"}}]}],"max_tokens":1000}}
2.1.2 cogview-3的使用
cogview-3格式:
{"custom_id":"request-1","method":"POST","url":"/v4/images/generations","body":{"model":"cogview-3","prompt":"画一只可爱的小猫咪"}}
2.1.3 embedding-2的使用
embedding-2格式
{"custom_id":"request-1","method":"POST","url":"/v4/embeddings","body":{"model":"embedding-2","input":"你好"}}
2.2 支持前端界面提Batch任务
我们现在可以无需编码就可以使用Batch API,只需准备数据、上传准备的文件、创建batch任务即可。其优缺点如下:
- 优点:对小白友好,无需学习其sdk、http接口的使用,适用于小数量集。
- 缺点:Batch Api本身就是为非实时,大数量请求而生的,我们进行数据准备和结果对齐分析都是需要用到编程的,界面则显得更加繁琐。
ps:既然要拥抱变化,拥抱大模型,去打破一切阻碍自己的技术吧。
2.2.1 界面上传文件
2.2.2 界面创建Batch任务
2.2.3 界面下载运行结果
2.3 互动
(1)你们都在各自的业务中使用Batch Api了吗,效果如何?
(2)有什么好的想法可以将大模型应用到自己的事情上来那?
github:https://github.com/haiyang679/zhipu_ai_python_example
以上内容,均来源智谱官网
[1]:https://open.bigmodel.cn/dev/api#batch