智谱发布新模型，“实时多模态”惊艳所有人

最新推荐文章于 2025-04-20 21:06:12 发布

小天才学习机打游戏

最新推荐文章于 2025-04-20 21:06:12 发布

阅读量1.2k

点赞数 13

文章标签：知识图谱人工智能神经网络 langchain windows

本文链接：https://blog.csdn.net/m0_59164520/article/details/145322551

版权

2025年开春，智谱GLM系列模型上新升级了，这次发布可以总结为一句话：模型能力越来越强，对开发者越来越普惠。本次发布当中，尤其让我眼前一亮的是端到端多模态模型GLM-Realtime，简单上手测试之后，我觉得大模型已经进入到了next level。

行业首个端到端多模态模型，初体验

根据智谱官方的介绍，GLM-Realtime是一个端到端多模态大模型，具有近乎实时的视频理解与端到端的语音交互能力，创新性地提供了清唱功能，并且支持长达2分钟的记忆以及Function Call功能。

视频理解能力就好比AI有了眼睛，输入的信息更丰富了；端到端的语音交互，可以随时打断，交互方式更接近人类，清唱更是独树一帜的能力；记忆让AI能够处理更多时间跨度的信息；Function Call功能，通过调用外部知识库，拓展了AI的知识边界。

GLM-Realtime API 已经在智谱AI开放平台上线，现阶段可以免费调用，对于广大个人开发者来说，简直就是送福利。网址如下：

https://bigmodel.cn?utm_source=0103&utm_campaign=2025q1&_channel_track_key=FLc6U2DC

下面我们选择几个场景，做些小应用，更深入地探索GLM-Realtime的能力。

不会唱歌的AI，不是好Chatbot

先来试试GLM-Realtime的语音对话能力。在智谱AI开放平台上注册好账号后，进入控制台，创建一个API key，就可以对接口进行调用了。以下是我的客户端鉴权代码：

服务端的鉴权代码：

接下来实现接口调用，通过WebSocket连接建立与接口之间的双向通信。

设计一个简单的语音对话界面，能够启动和停止语音对话。除了对话，现在GLM-Realtimeg已经会唱歌了。

语音对话界面的实现代码，如下：

程序打包发布，现在就来看看实际运行效果吧。

不得不说，AI唱得真好，比我强太多了。

AI帮你看见更大的世界

接下来，试试GLM-Realtime的视频理解能力，客户端和服务端鉴权代码跟前面一样，就不展示了。还需要设计一个简单的视频交互界面：

（效果来自智谱清言，已支持视频通话）

以android端App应用为例，代码实现如下：

服务端传入视频、音频内容，返回音频，代码实现如下：

将以上代码运行起来，看下服务端运行时日志：

再看看客户端运行时日志：

完成代码调试后，就可以打包发布了，一起来看看效果。

（效果来自智谱清言，已支持视频通话）

当AI有了记忆

当GLM-Realtime强大的视频理解能力，搭载到智能眼镜上，又会激发出怎样的创新和创意呢？智谱携手INMO影目，进行了有趣的探索。戴上智能眼镜，轻轻一按开启对话模式，这时GLM-Realtime跟你看到的画面是一样的，来看看实测的效果。

你也被智能眼镜惊艳到了吧？接下来，还有更加震撼的，在GLM-Realtime长期记忆能力的加持下，你能够对2分钟内看到的画面进行提问。春节快到了，我让AI帮我写对联，对AI来说小菜一碟。体验下来，交互方式非常有趣，就好像跟一位学识渊博的朋友在吟诗作对。

从AI发展趋势来看，未来将实现记忆分层管理，包括短、中、长期记忆，记忆系统从 “单一存储” 向 “分布式认知架构” 演变，记忆管理重点转向“智能筛选与整合”，并在 “记忆” 与 “遗忘”间找到合理的平衡，AI越来越贴近人类的思维特性。

AI硬件，即将井喷

在情感陪伴类场景，GLM-Realtime的视频理解与语音交互能力，将有广阔的发展空间。我突然灵光一闪，让智能眼镜跟智能机器人来一场角色扮演游戏，你猜AI能够辨认出对手也是AI吗？

AI与物理世界的融合，将产生具身智能，这也是被行业看好的发展方向，具身智能能够更好地理解和操控现实世界。

具身智能不仅是技术的提升，更是人机交互方式的革新。AI将不再局限于屏幕前的静态交互，而是能够通过机器人或其他智能设备与人类进行更加自然、深入地互动。具身智能的发展，将为教育、医疗、服务等行业带来新的发展机遇。

大模型已经进入next level

智谱GLM系列模型的这次升级，带给我很多惊喜，尤其是GLM-Realtime端到端多模态的能力，将AI的应用边界再次拓宽，从语音对话到视频理解，从实时交互到长期记忆，每一个能力都为开发者和用户带来了前所未有的体验。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述