前言🚀
大模型独角兽智谱AI于昨日7月26日正式发布视频生成工具清影,可支持文生、图生6秒时长的视频,即日起在PC端、手机App端以及小程序端面向所有C端用户免费开放。这也是国内做语言大模型起家的大模型独角兽,首次推出视频生成产品——之前这个赛道更多的是字节、快手等短视频大厂,以及爱诗科技、生数科技等专注于视频生成模型的创企。
自从快手可灵 AI 火爆海内外,国内视频生成也如同 2023 年的文本大模型一样,越来越卷了。前有首个国产视频大模型Vidu,其在2024中关村论坛——未来人工智能先锋论坛上正式发布,Vidu支持一键生成长达16秒、分辨率高达1080P的高清视频内容。后有智谱 AI 正式发布「清影」。只要你有好的创意(几个字到几百个字),再加上一点点耐心(30 秒),「清影」就能生成 1440x960 清晰度的高精度视频。
**最重要的是,清影有着极低的门槛,几分钟的审核后即可开始免费无限制使用,排队时长在白天晚上的黄金时间也不超过两分钟。**这极大提高了用户的使用体验。
官网示例📕
从展示的Demo中评估,清影的生成效果确实展现出了显著的进步,尽管与业界标杆如Sora相比仍存在些许提升空间。然而,就整体呈现而言,其流畅性、动作的自然度均达到了令人满意的水平。人物的表情细腻生动,动作流畅且富有变化,光影效果的转换与镜头运动的切换均显得自然而流畅,没有突兀的跳跃感或卡顿现象。特别值得一提的是,清影在运动幅度的控制上展现出了极高的精准度,既避免了单调乏味如PPT般的静态展示,又没有陷入过分夸张、失真的境地,实现了恰到好处的平衡。
技术特点😈
视频生成的能力源自智谱AI正式推出的新一代产品 ——CogVideoX。
值得一提的是清影API今天也同步上线,企业和开发者都可以通过调用API的方式,体验并使用清影的文生、图生视频能力,据称这也是国内上线的首个视频生成API。
据介绍,CogVideoX 的核心技术特点如下:
针对内容连贯性问题,智谱 AI 自主研发了一套高效的三维变分自编码器结构(3D VAE)。该结构能够将原始视频数据压缩至原始大小的 2%,降低了视频扩散生成模型的训练成本和难度。结合 3D RoPE 位置编码模块,该技术提升了在时间维度上对帧间关系的捕捉能力,从而建立了视频中的长期依赖关系。
在可控性方面,智谱 AI 打造了一款端到端的视频理解模型,该模型能够为大量视频数据生成描述。这一创新增强了模型对文本的理解和对指令的遵循能力,确保生成的视频更加符合用户的输入需求,并能够处理超长且复杂的 prompt 指令。
模型采纳了一种将文本、时间、空间三维一体融合的 transformer 架构。该架构摒弃了传统的 cross attention 模块,设计了 Expert Block 以实现文本与视频两种不同模态空间的对齐,并通过 Full Attention 机制优化模态间的交互效果。
上手尝试🌤
首先是官网页面,整体比较简洁大方。左侧是各类AI能力的选择,中间是官网提供的DEMO以及生成视频的区域,右侧是写关键词或提供图片进行视频生成的功能区。
文生视频
接下来让我们来试试看经典的互联网段子:
42号混凝土拌意大利面,清影大模型能带给我们什么
有点无厘头和花里胡哨哈哈哈,过于抽象的互联网段子同样诞生了抽象的视频
接下来我们来一段经典的网文雪中悍刀行
徽山大雪坪上,剑神李淳罡看着徐凤年撑着伞给轩辕青锋遮挡大雨,想起了年少之时,将心爱的女子绿袍儿一剑洞穿心胸,背着绿袍儿上龙虎山斩魔台求助齐玄帧,一样也是大雨天气撑着伞。
李淳罡想起绿袍儿的深情,临死也不过是“无悔”两字。与世无敌又如何,没有心爱女子的陪伴,这个江湖就不是江湖。画地为牢二十年,徽山大雪坪一句“剑来”,徽山数百佩剑,龙虎山道士千柄桃木剑,浩浩荡荡飞来。
这一日,李淳罡再入陆地剑仙境界。
图生视频
我们借用一下詹姆斯在全明星赛事上的一张扣篮前的图片来看看清影能不能完成扣篮的后半部分
原图
AI所接续生成的视频
很明显,模型在图生视频这块内容上,只能做到知道要做什么,但很难完整的从提供的图片种提取出自己所需要的信息
总结 🎉
在这个数字化时代,创意的边界被无限拓宽,AI技术的飞速发展更是为内容创作领域带来了前所未有的变革。当那些略带无厘头、花里胡哨,甚至抽象至极的互联网段子邂逅先进的AI模型时,一场视觉与思维的盛宴悄然上演。
这些原本只存在于文字间的奇思妙想,通过AI的魔力,被赋予了生命,跨越了语言与图像的界限,化作了生动而富有张力的视频作品。AI不仅能够精准捕捉段子中的精髓与幽默感,还能以其独特的视角和无限的创意,将抽象的概念具象化,让每一个笑点、每一个转折都在光影交错中跃然屏上。
想象一下,一个充满哲学意味的抽象段子,在AI的巧手下,可能化身为一场穿梭于现实与幻想之间的视觉旅行,色彩斑斓的画面与深邃的旁白交织在一起,让人在欢笑之余,也不禁陷入对生命、宇宙以及存在本质的深刻思考。
这样的视频,不仅仅是娱乐的载体,更是艺术与科技完美融合的产物。它们挑战着观众的认知边界,激发着人们的想象力,让我们在享受视觉盛宴的同时,也感受到了创意与科技结合所带来的无限可能。
这样的视频,不仅仅是娱乐的载体,更是艺术与科技完美融合的产物。它们挑战着观众的认知边界,激发着人们的想象力,让我们在享受视觉盛宴的同时,也感受到了创意与科技结合所带来的无限可能。
因此,当有人说“过于抽象的互联网段子同样诞生了抽象的视频”时,我们其实是在见证一个新时代的到来——一个由AI驱动,创意无限,边界模糊,充满无限想象与惊喜的内容创作新时代。
具体视频详细图文欢迎关注GZH:全栈开发指南针