重大福利,今天(8⽉27⽇),智谱AI BigModel开放平台宣布:GLM-4-Flash API全部免费,再也不用担心没token了。
PaperAgent迫不及待的就最经典的LLM落地应用Agentic RAG以及问答生成微调来对GLM-4-Flash(128K)进行了第一手实测:
一、RAG问答
将RAG过程应用于问答的一个代表性实例。主要由3个步骤组成。
-
索引,文档被分割成块,编码成向量,并存储在向量数据库中。
-
检索,根据语义相似性检索与问题最相关的前k个块。
-
生成,将原始问题和检索到的块一起输入到大型语言模型(GLM-4-Flash)中,生成最终答案。
原生RAG问答流程(GLM-4-Flash)
从RAG问答常见的三种问答类型为例:
-
事实类
-
总结类
-
拒绝回答
【案例说明】
多问题事实类型Query: 药明康德2022-2024年归母净利润预测分别是多少?
GLM-4-Flash回答:答案正确、溯源正确(来源于参考资料5)
根据已知信息,药明康德(603259)2022-2024年的净利润预测分别为:`` ``- 2022年:80.29亿元``- 2023年:99.05亿元``- 2024年:127.56亿元`` ``这些预测来源于参考材料[5]。
输入:
归纳总结类型Query: 三七互娱未来公司在海外市场的发展战略是什么?
GLM-4-Flash回答:回答全面且具有概括性
三七互娱未来公司在海外市场的发展战略包括以下几点:`` ``1. **持续发行优质游戏**:三七互娱将继续推出更多自研和代理游戏,如《云上城之歌》、《斗罗大陆:魂师对决》、《叫我大掌柜》等,以提升海外市场的知名度和收入。`` ``2. **突破增长**:公司致力于在MMO、SLG、卡牌以及模拟经营四大赛道中深耕,以实现品类创新和迭代。`` ``3. **储备更多游戏**:三七互娱海外发行储备了16款游戏,包括自研和代理产品,预计这些产品将助力公司未来在海外市场的持续增长。`` ``4. **元宇宙布局**:公司正积极布局元宇宙,通过投资元宇宙上下游优质标的,与相关企业合作,并上线全国首个元宇宙游戏艺术馆,探索数字藏品与元宇宙社交领域的创新玩法。`` ``5. **区域拓展**:未来,三七互娱将继续在日本、韩国等地发行游戏,扩大其海外市场覆盖范围。`` ``6. **技术创新**:在流量经营核心优势上加码自研,进行品类创新迭代,以适应海外市场变化。`` ``总体来看,三七互娱在海外市场的发展战略是多元化游戏发行、深耕特定游戏品类、布局元宇宙、持续技术创新以及区域市场拓展。
输入:
归纳总结类型Query: 兴齐眼药在眼科医疗领域的竞争对手有哪些?
GLM-4-Flash回答:参考资料无答案,按着指令要求回答了“未知”
未知
输入:
GLM-4-Flash使用指南
pip install --upgrade zhipuai`` ``from zhipuai import ZhipuAI``client = ZhipuAI(api_key="") # 填写您自己的APIKey``response = client.chat.completions.create(` `model="glm-4-flash", # 填写需要调用的模型编码` `messages=[` `{"role": "user", "content": "作为一名营销专家,请为智谱开放平台创作一个吸引人的slogan"},` `{"role": "assistant", "content": "当然,为了创作一个吸引人的slogan,请告诉我一些关于您产品的信息"}` `],``)``print(response.choices[0].message)
二、Agentic RAG
RAG问答还常常遇到一些多跳推理问题,例如Query=“与第五交响曲创作于同一世纪的交通工具是什么?”,大模型(GLM-4-Flash)需要分两个子问题来解决:
-
第五交响曲是在哪个世纪创作的?
-
19世纪发明的交通工具
GLM-4-Flash用于Agentic RAG
【案例说明】
多跳推理Query: 与第五交响曲创作于同一世纪的交通工具是什么?
GLM-4-Flash回答:工具识别正确、且参数提取正确
第一轮回答:``Function(arguments='{"search_term": "第五交响曲创作年份"}', name='get_timeline_explorer')``tool_answer: 第五交响曲是由德国作曲家路德维希·范·贝多芬创作的,完成于1808年。`` ``第二轮回答:``Function(arguments='{"time_period": "1808"}', name='transportation_evolution_archive')``tool_answer:` `19世纪初,以下是一些重要的交通工具发展:`` ``1. 马车:虽然马车在19世纪初仍然普遍使用,但这一时期也见证了马车技术的改进,例如蒸汽动力马车的出现。`` ``2. 蒸汽机车(蒸汽火车):1825年,乔治·斯蒂芬森设计的“旅行者号”蒸汽机车在斯托克顿和达灵顿铁路上进行了首次商业运行,标志着铁路运输时代的开始。`` ``3. 蒸汽船:19世纪初,蒸汽船开始取代帆船,成为更高效的水上交通工具。例如,克莱门特·阿特金斯设计的“萨凡纳号”蒸汽船在1830年完成了从纽约到英国的航行。
输入:
tools = [` `{` `"type": "function",` `"function": {` `"name": "get_timeline_explorer",` `"description": "通过输入年份或世纪,用户可以获取该时期内的重大历史发展,包括科学、技术、艺术和社会变革等方面的信息",` `"parameters": {` `"type": "object",` `"properties": {` `"search_term": {` `"description": "用户输入的关键词,用于在历史时间线中搜索相关事件",` `"type": "string"` `}` `},` `"required": [ "search_term"]` `},` `}` `},` `{` `"type": "function",` `"function": {` `"name": "transportation_evolution_archive",` `"description": "交通工具发展数据库",` `"parameters": {` `"type": "object",` `"properties": {` `"time_period": {` `"description": "用户可以指定一个年份,以查找该时间内发展的交通工具",` `"type": "string"` `}` `},` `"required": [ "time_period"]` `},` `}` `},``]``messages = []``messages.append({"role": "user", "content": "以下对话优先使用工具"})``messages.append({"role": "user", "content": "与第五交响曲创作于同一世纪的交通工具是什么?"})``response = client.chat.completions.create(` `model="glm-4-flash", # 填写需要调用的模型名称` `messages=messages,` `tools=tools,``)``print(response.choices[0].message)
三、问答生成微调
在大模型企业落地的时候经常会遇到有客户用RAG对一些客服场景的FAQ数据集进行问答,这里一个更好的选择是用大模型微调固定的QA对,刚好GLM-4-Flash也支持私域数据微调。
GLM-4-Flash微调的4个主要步骤:
GLM-4-Flash训练完成:
GLM-4-Flash部署完成:
【案例说明】
微调后,GLM-4-Flash可以正确回答。****
药明康德2022-2024年归母净利润预测分别是86.21亿元、94.29亿元、116.27亿元。
微调前,GLM-4-Flash因为训练数据时效性,是无法回答该问题的。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。