扣子Coze又又又上新了,而且还是重磅功能创建AI应用,晚上预告的时候还以为是画板更新。
PS:除了创建 AI 应用外,其实还有其他重磅更新,都会展开讲讲,可以先收藏慢慢看。
官方透露是小功能(bushi)
一、AI 应用效果
我们先看看 AI 应用能做到哪些新的事情。
1、快速开始
创建方式主要有两处:创建应用、从模板创建。
模板地址:https://www.coze.cn/template
官方对本次的应用模式,给到了6+个典型案例模板,大家可以直接复制官方案例来快速开始。
2、互联网嘴替
地址:https://www.coze.cn/template/project/7441983118225129511
从这个应用能看到,扣子把之前的卡片能力强化到了应用里,不过与其说是强化,实际上是重写了一个纯新的功能,就是传说中的低代码搭建网站,我是真没想到以前说的低代码还能这么玩,又要焕发新春了。
我们可以通过拖拉拽的方式,来编辑我们的页面,也可以增加交互功能,达到我们想要的应用效果,这个有点像 Claude 的 Artifacts 功能,不过扣子不支持通过代码的方式进行修改,有点可惜了,搭建时间成本会比较高。
3、智能搜索
地址:https://www.coze.cn/template/project/7442076831253037097
现在有很多公司在做 AI 搜索,有了这个应用能力,你也可以给你的公司、学校、团队定制一个简单的 AI 搜索网站了,例如叫子豪的AI搜索。
从这个应用能看到,我们可以创建多个页面,这个玩法就很多了,我们完全可以仿照市面上的各种 AI 类产品进行复刻,不仅仅限于对话能力,用户交互形态会更灵活。
Tips:这个会有一些新手使用的小坑,你再刚开始编辑这个应用的时候,发现找不到怎么切换页面,功能藏在了导航里,点击后就能看到切换多个页面。
4、英语写作练习
地址:https://www.coze.cn/template/project/7441985838973698111
这个应用形态我很喜欢,变成真正的用户 AI 应用了,可以保留用户沟通历史记录,而且可以和用户进行互动练习,无论是咨询类的 AI 应用,还是教育类的 AI 应用,都非常适合这种形态。
但是,应用变复杂就会带来几个问题,一个就是制作/学习成本越来越高了,基本上就是算是开发工作了,另一个就是性能/稳定性问题,非常依赖扣子平台基建(目前 Beta 版本)。
不过算是扣子极大的创新挑战了,未来可期。
5、图像生成器
地址:https://www.coze.cn/template/project/7442540084944994344
哈哈,个人版MJ、SD?说实话这个演示效果真不错,可以复刻豆包-图像生成 80% 的功能了,再把刚才几个应用补充进来,可以做个简版的豆包了。
下图能看到,这个工作流很简单,更多的成本会投入到用户界面的设计和开发,也符合应用侧的重点,产品设计和 UI 设计,能看到很多玩扣子的都不再是程序员了,确实是极大的扩展了 PM、设计等同学的能力边界。
6、其他应用模板
二、AI 应用开发
首先要了解一点,AI 应用和 AI 智能体开发只能二选一,对于咨询类场景适合 AI 智能体,其他场景可能未来更适用于 AI 应用(当前现在还是测试版,不稳定)。
还一个注意点就是两个的工作流不能直接复用,但可以相互复制使用。
-
官方教程:https://www.coze.cn/docs/guides/project_overview
-
官方快速开始:https://www.coze.cn/docs/guides/app_quickstart1
官方教程已经做的比较清晰了,并且用了一个翻译应用的示例,做了快速构建的示例,我也拿一个PDF 阅读助手的例子,讲一些搭建过程中需要注意的事情。
功能很简单,读 PDF 后进行内容总结。
1、创建应用
创建应用的时候可以选择模板快速创建,官方和个人的目前都能选择(刚才的图像生成器不在这里,好奇怪)。
第一次做可以选择一个你喜欢的样式进行创建,不然做起来界面还挺麻烦的。
咱们选择文章写作助手模板进行创建,创建后需要等几秒,后期越复杂的应用等待时间会越长。
打开我们的应用后,能看到他是左右分屏的,左边可以选择资源、插件等,中间面板显示了 IDE 的介绍。
如果是程序员朋友对这个界面应该比较熟悉,很多开发工具 IDE 都是这个样子,还支持各种快捷键的使用。
能看到中间有三个卡片,点进去就是官方教程,对于哪块不懂的都可以好好学习一下,我也标注了一下文档对应的应用。
能看到最上面有两个页签
-
业务逻辑:就是当前界面,主要用于开发工作流、插件、数据
-
用户界面:就是拖拉拽制作应用页面
2、团队协作
协作模式文档:https://www.coze.cn/docs/guides/collaborate_app
个人空间创建的应用和团队空间创建的略有区别,能看到团队版右上角有协作按钮,但是目前这个能力基本不可用,因为只能各干各的,协作的时候注意一下这一点。
预计未来会和智能体的协作是类似的,会使用版本管理的能力,便于多人合作开发。
3、业务逻辑
本质上就是资源开发,没看错,是资源开发,因为在 IDE 里面把工作流、插件、数据的开发界面统一了。
扣子不愧是面向开发者的平台,直接搞了一个 IDE 出来,我都怀疑再过几个月都可以直接下载 APP 本地进行操作了,毕竟在网页开发还是有点卡顿,未来会不会诞生一个新的职业,扣子 AI 应用开发工程师?
在图上你有没有发现一个神奇的东西,工作流可以写备注了!我的天!这就和能在代码里写注释、能在蓝湖写备注一样,未来各位开发者们上架的模板到底是精华还是屎山,将会一目了然哈哈哈。(注释不在节点里)
PDF 阅读助手比较简单,我们删除多余的工作流即可,baogao 工作流保留,也无需修改,直接可以用。
删除这块注意一下方式和快捷键。
4、用户界面
先说一点,目前测试阶段用户界面还不太稳定,有时候会出现编辑和预览不一致的情况。
官方说明:https://www.coze.cn/docs/guides/ui_builder_overview
用户界面能看到和卡片编辑页面很像,左边是组件、中间是页面编辑、右边是元素设置,请注意一下下面的使用限制。
我选部分内容,简单说一下如何完善咱们的应用。(界面操作比较适合直播、视频,就不写那么详细了)
1)创建新页面
点击导航可以看到我们的所有页面,先新建一个 PDF 阅读助手页面,然后从读书报告页面里把 Page/Div 复制一下,拷贝到 PDF 阅读助手页面。
我们改一下这几个组件的内容,改为 PDF 阅读助手。
2)主页修改
点击切换到主页后,我们把多余的元素删除,然后通过布局-水平对齐,美化页面展示。
3)修改跳转
这个案例的事件藏得位置比较外侧,点击最外侧的框框,我们去修改这个元素的事件属性,换成我们刚才新建的页面,确认好测试一下效果。
4)删除多余页面
多余页面可以现在删除,刚才不先删除的原因是和首页组件有依赖关系,我们把主页跳转更换了之后就可以删除了。
5)预览效果
点击页面右边的预览,可以看看效果。
6)修改有问题的部分
如果直接测试,会发现用不了,这是因为咱们直接复制的之前网页元素,所以里面调用工作流部分的元素还是旧页面的,我们需要进行修改。
我们找到有问题的组件,查看事件配置,发现工作流部分确实不对,都飘红色了(红色就是有错误)。
怎么找到对的元素,还是得看图层,我们找到“阅读主题”对应到图层中的部分,找这个就有些技巧,我们把两个有问题的都进行修改。
注意上传文件这个修改,如果没有办法直接选中 file_id 字段,需要手动写一下代码,而且这里应该是换成一个数组,所以我们一般说搞低代码的引用,还需要有一点编程基础,或者前端经验才好做。
Tips:在当前页面双击按钮也可以进行测试。
7)发布应用
目前只能发布到扣子上,等待审核后就能预览效果了。
审核很快,通过后可以预览效果。
预览效果:https://www.coze.cn/store/project/7442578797633077288?bid=6eie1noc40g0b&entity_id=1
8)模板
官方提供了一些模板,可以学习一下是怎么做的,有的页面样式还挺好看的,做个个人页没啥问题。
后面就很期待扣子应用能出独立域名和独立页了,这样对外展示的效果就会很好。
三、工作流改版
工作流改版后的能力可用性极强,当然最欣喜的还是终于把配色的区分和分类做好,不像上次更新后那么突兀和找不到了,绝对得加鸡腿,可惜缩略图没做类似功能。
下面重点说几个大的功能升级点,都是我觉得十分有用的。
1、输入节点
官方文档:https://www.coze.cn/docs/guides/input_node
简化版本的问答节点,更容易在工作流中穿插让用户协作的部分了,支持文字、文件等。然后消息节点也改名了,为了和这个节点配合,叫输出节点。
不过我试了一下,在应用中无法和事件搭配使用,目前看只能用在智能体对话里。
PS:我猜测扣子团队一定会纠结智能体和应用的边界到底怎么划分,目前来看 AI 应用把对话上的能力做了削减,毕竟对话交互还是十分复杂的,混在应用里不太好做标品设计。(长期记忆也下掉了)
2、知识库写入节点
官方文档:https://www.coze.cn/docs/guides/knowledge_base_writing_node
我本来以为这个功能只是为了简化知识库更新用的,细研究了一看,这个功能重点是给知识库检索仅查看个人文档用的,这个用处和新玩法就很多,正好应用部分的长期记忆被下掉了,也可以用这个弥补,下面说怎么用。
其他使用情况:有个这个节点确实可以简化知识库的更新功能了,但这种更新不如飞书等方式更好更新和维护,适合一次性文档或内容的写入,或者用户问答内容,或简单应用。(不支持删除、更新、切换)
Tips:复杂应用建议把数据更新流程放到飞书里去管理,比较透明好可控。等后续知识库管理功能完善了可以再看看。
3、知识库其他加强
知识库文档解析加强了是好事,尤其是支持解析文档中的图片,图片表格提取,具体还得亲自试试效果了。
**说个重要的!**检索方式提升,终于从极简版的 RAG 进化除了查询改写、重排等功能,尤其是重排功能,对于混合检索、改写检索效果尤其重要,但凡做 AI 搜索的应用,不加重排的检索效果会很差。
还有一个大改动,但是文档没写,支持仅查看个人文档,你想问怎么用?
就说一个组合设计:用户私域知识检索 + 应用公域知识检索,像秘塔已经开始这么玩了,这是一个极巧妙的设计。
PS:SQL 查询待考量,毕竟知识库和数据库能力还是分开的,不好说效果会不会好。
4、数据库管理
官方说明:https://www.coze.cn/docs/guides/manage_database_resources
主要说一个非常有用的优化点,终于能看到多用户模式的线上数据了,之前多用户模式用的一脸懵,你也不知道到底是哪来的数据,现在就省事了,直接能看到。
5、大模型技能
大模型节点支持配置技能了,这个扣子是真玩明白了,把多 Agent 的能力拿回来集成到每一个大模型节点上了,更好的发挥大模型 function call 的能力(类似意图识别能力),每一个大模型就是一个 Agent。不过有个问题,就是不好调试,看不到中间调用结果,所以目前慎用。
注意一下,得使用下面两个模型才支持调用技能,就是所谓的 function call 能力。
6、无限循环
官方说明:https://www.coze.cn/docs/guides/loop_node
循环次数暂未找到设置方式,本次就说一下无限循环。
循环就说这一点,支持无限循环了(不用传循环数组),终于盼到这个功能了,因为有很多场景的循环都是基于条件停止的,强制传一个数组还是很麻烦的。
Tips:扣子循环应该是有上限的,目前看上限是 1000 次循环,需要注意一下。
7、注释
发现注释有两个地方可以修改。
上面是直接加注释节点,下面是可以改每一个节点的注释内容了。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。