热议:“清影”之后,Sora已经彻底凉凉了...

智谱Maas于7月26日发布了最新的视频生成大模型清影,背后基础大模型是CogVideoX,引起了广泛关注。与其他AI视频大模型闭源或更新缓慢不同,本次发布表现出强大的实力和诚意:

1.CogVideoX上线即全量,无需等待内测,用户可以立即体验到最新的视频生成技术。

2.CogVideoX支持文生视频和图生视频,为用户提供了更多的选择和灵活性。

3.支持在多端「PC/APP/小程序」上使用,用户可以根据自己的需求和习惯,在不同设备上进行视频生成操作。

1.使用方式

手机端使用方式

手机端点开智谱清言->首页就能看到清影->点击蓝字进入使用界面。    

图片

网页PC端使用:https://chatglm.cn/video?fr=opt_homepage_PC

代码访问:突发!Maas开放平台推出全新视频生成大模型,首创API调用,一手评测来了!  

2.分类评测

市面上其他可选的软件如可灵、Luma、Gen3等要么收费且价格昂贵,要么等待时间长达2个小时以上。相比之下,清影作为第一版产品,与其他软件在水平上持平,支持生成1440X960像素的6秒视频。其明显优势在于人人可免费使用,访问无需等待,为用户提供了更便捷和实惠的视频生成体验。  

要进行详细的评测,几组镜头肯定不够,我们选择:

常见主体:动物、风景、建筑物、人物。

经典场景:宏大场景、科幻场景、经典影视场景进行评测。

2.1 Prompt生成

评测分类有了,就差主要Prompt了。prompt工程对于生成视频质量有很大的影响。智谱官方贴心给出了文生视频和图生视频的Agent,借助大模型智能生成提示词。借助RunWay分享的视频提示词公式提升Prompt质量:    

[镜头语言]+[光影]+[主体(主体描述)]+[主体运动]+[场景(场景描述)]+[情绪/氛围/风格]

让我们感受下Agent增强前后提示语:

增强前:小狗在空地上画画

增强后:在阳光明媚的空地上,一个活泼的小狗拿着彩色画笔在白布上自由地画画。镜头从低角度仰拍,捕捉小狗专注的表情和挥动的尾巴,周围是鲜艳的花草和飞舞的蝴蝶,3D动画风格,气氛欢快,4K高清。

经过Agent增强后的Prompt明显丰富和完整很多。

文生视频提示词Agent链接:https://chatglm.cn/main/gdetail/669911fe0bef38883947d3c6

图片

图生视频提示词Agent:https://chatglm.cn/main/gdetail/669fb16ffdf0683c86f7d903

图片

所有的元素齐备,我们接下来开始详细评测。

2.2 文/图生视频评测

我们评测主要从动物、景物、建筑、人物等常见主流主体视频和图片生成进行评测。

动物生成

动物文生视频

Prompt:一只狐狸在雪地中小心翼翼地行走,它的毛色与周围的环境完美融合。它的目光锐利,寻找着隐藏在雪下的食物。周围的雪花轻轻飘落,覆盖了大地,营造出一种静谧而神秘的冬日景象。

图片

Prompt:一只海龟在热带海域中缓慢游动,它的巨大身躯在清澈的海水中显得格外壮观。

图片

Prompt:一只小狗在公园中玩耍,它的尾巴摇摆着,显得非常快乐。

图片

Prompt:镜头特写,一只白鹭在水边觅食,它的羽毛在阳光的照射下闪着银光,动作优雅而从容,与周围的自然环境形成了一幅生动的画面。

图片

Prompt:一只熊猫在竹林中悠闲地吃着竹子,它的黑白两色与周围的墨色形成鲜明对比。

图片

动物图生视频

Prompt:一群鱼在水墨画中的水草间游动,它们的身影在墨色中显得格外灵动。它们在水草间穿梭,每一次转身都充满了生机。周围的水草随风摇曳,营造出一种自然而和谐的水下世界。    

图片

Prompt:一只小羊在草地上吃草,它的眼神看起来非常满足。

图片

Prompt:一只小猫头鹰在动画图书馆中学习,它的眼睛在书本的字里行间闪烁着好奇的光芒。图书馆内充满了古老的书籍和神秘的卷轴,小猫头鹰在知识的海洋中遨游,营造出一种智慧而宁静的学习环境。

图片

Prompt:镜头特写,一只穿着侦探服的小猫,它正用放大镜仔细观察着一张藏宝图,眼中闪烁着好奇和智慧的光芒。

图片

可以看到,图/文生视频质量都非常高,清晰刻画各种动图的表情。也能创新性生成一些动物对象或者其他水墨,卡通风格的动物形象。  

景物生成

景物文生视频 

Prompt:瀑布从悬崖倾泻而下,水雾弥漫,彩虹悬挂。

图片

Prompt:海浪轻拍着沙滩,夕阳的余晖洒在波光粼粼的海面上,形成一条金色的道路。海鸥在晚霞中翱翔,它们的叫声伴随着浪花的声音,构成了一首自然的交响乐。沙滩上的脚印逐渐被海浪抚平,留下宁静而美丽的海岸线。

图片

Prompt:一座溪边的磨坊,水车缓缓转动,溪水潺潺,与周围的青山绿水相映成趣。

图片

Prompt:秋日山林,红叶点缀,墨色与秋色相得益彰。山峦被秋色染成一片金黄,红叶在阳光的照射下显得格外鲜艳。山间的小溪清澈见底,映照着蓝天和红叶,构成了一幅美丽的秋日画卷。

图片

景物图生视频

Prompt:镜头慢慢拉远,一片无垠的草原在夕阳下泛着金色的光辉,远处的山丘被染上了淡淡的紫色。牧羊人轻轻挥动着手中的鞭子,羊群缓缓移动,仿佛一片片白云在绿海中漂浮,草原上的野花随风摇曳,散发出淡淡的芳香。

图片

Prompt:镜头平移,一条小溪穿过山谷,溪水清澈,石头上的墨色自然。

图片

Prompt:山水间,云雾缭绕,墨色深浅,意境悠远。

图片

Prompt:星际飞船在星云中穿梭,周围是一片璀璨的宇宙奇景。

图片

图/文生景物视频质量都非常高,大到整体山水、合流、湖泊、海洋、灯塔、瀑布,小到清晨的露珠,秋末落叶满地的道路,生成的视频都非常自然,不仔细看根本区别不出事AI生成的。AI最大优势具备无线想象力和惊喜,也能创新性生产和扩展一些动漫的城堡夜景,太空船在宇宙银河里遨游。     

建筑生成

建筑文生视频

Prompt:一座古老的宫殿,其华丽的装饰和精美的壁画讲述着昔日的辉煌。

图片

Prompt:镜头跟随,一群小鱼在五彩斑斓的珊瑚礁中游弋,珊瑚礁围绕着一座由海螺建成的小屋。小屋的窗户上挂着贝壳风铃,随风发出悦耳的声音,吸引着海底的生物们。

图片

Prompt:一座灯塔孤独地站在海岸边,海浪拍打着岩石,发出隆隆的响声,指引着归航的船只。

图片

Prompt:一座古塔耸立在山巅,云雾缠绕,如同水墨画中的高塔,气势磅礴。

图片

建筑图生视频

Prompt:镜头特写,一座温馨的小屋坐落在乡间的小路上。小屋的外墙覆盖着绿色的爬山虎,屋前的花园里种满了五颜六色的花朵。夕阳的余晖洒在小屋上,炊烟从烟囱中缓缓升起,散发出家的温暖。    

图片

Prompt:一座水乡古镇,小桥流水人家,如同水墨画中的江南水乡。

图片

Prompt:镜头环绕,一座维多利亚式的花园洋房,其精致的阳台和围栏上盛开着各种鲜花。洋房的窗户上挂着蕾丝窗帘,窗台上摆放着盛开的鲜花,阳光透过窗帘洒在屋内,营造出一种温馨而典雅的氛围。

图片

Prompt:镜头深入,一座传统的日式木屋隐匿在樱花林中,春天花瓣随风飘落,覆盖在屋檐和石径上。木屋的纸窗透出温暖的灯光,与周围的樱花相映成趣,营造出一种温馨而宁静的氛围。

图片

图/文生建筑视频也都不错,古建筑、古壁画、海底的贝壳房子、家里庭院、钟楼、江南水乡等,生成的视频都非常自然,凸显出了建筑的磅礴气势,如海岸边矗立的灯塔。创新性生成海底带帆的贝壳房子,科幻炫酷的未来城市。 

人物生成

人物视频生成

Prompt:镜头特写,一座古老的图书馆内,书架上摆满了各种古籍和手稿,书页的边缘已经泛黄。图书馆的角落里,一位老学者正在专心研究着一本厚重的书本,他的眼镜反射着窗外透进的阳光。

图片

Prompt:一位学生坐在老式图书馆的木质桌前,桌上摆放着复古风格的台灯和几本旧书。学生穿着复古风格的服装,戴着眼镜,专心致志地翻阅着一本看起来颇有年代感的书籍。

图片

Prompt:夕阳余晖下的沙滩上,一对情侣手牵手漫步,情侣穿着休闲的夏装,女生长发飘逸,男生微笑着看着女生,脸上都带着微笑,面部表情清晰,4K高清   

图片

Prompt:固定镜头,两个人在咖啡馆里聊天,笑容满面,阳光透过窗子洒在他们身上,背景是温暖的咖啡馆环境。脸上都带着微笑,面部表情清晰,4K高清

图片

人物图生视频

Prompt:主体是一位人工智能,她正在与人类进行交流,学习人类的情感和行为,她的眼中闪烁着对人类世界的好奇。

图片

Prompt:镜头透过古老的窗户,一位绅士正坐在壁炉旁,手中拿着一杯红酒,眼神深邃,周围的书架上摆满了各种古籍,散发出一种古典的气息。

图片

图/文生人物视频本身比较难的事情,因为人整体脸部细节和动作的刻画比较难,所以特意测试了手指精细动作的生成,生成和扩展了人阅读、喝咖啡,以及在宇宙窗下思考的视频,效果都挺不错的。 

除了对经典人物、动物、建筑、自然风景测试外,还测试了视频生成常见常见,比如宏大场景,电影场景,科幻场景等。

宏大场景

Prompt:镜头推进,森林火灾迅速蔓延,火舌吞噬着树木,浓烟滚滚,消防飞机在天空中洒水,但火势依旧猛烈,森林生态遭受严重破坏。

图片

Prompt:镜头俯瞰,飓风肆虐的海岸线,巨浪翻滚着冲向岸边,狂风卷起海浪,如高墙般压向城镇,营造出一种自然界的狂暴力量。

图片

宏大的场景主要测试一些自然灾难,如洪水、海啸、火灾、干旱等,一些自然景观如巨浪中的灯塔,夕阳下的驼队等,效果也都挺好。

科幻场景

Prompt:镜头环绕,一座高科技的太空站,围绕地球旋转,宇航员们在这里观察着宇宙的奥秘。太空站的观景舱中,宇航员们凝视着地球的壮丽景色,星辰的闪烁与地球的蓝色交相辉映,营造出一种神秘而宏伟的氛围。

图片

Prompt:镜头环绕着一座巨大的太空站,站内机械臂忙碌地装载着补给物资。太空站周围,小型飞船来往穿梭,进行着星际贸易。远处,一颗恒星的光芒照亮了整个太空站,营造出一种繁荣的星际交流氛围。

图片

Prompt:镜头环绕,一座星际空间站,宇航员们在这里进行太空行走训练,准备探索更远的星系。空间站的观景舱中,可以俯瞰壮丽的星云和星系,让人感受到宇宙的浩瀚。

图片

科幻场景主要是宇宙当中场景,如宇宙飞船跨越银河,宇航员在苍穹中欣赏银河美景等,还有宇宙战争的飞船残骸,火星表面的月球城市等等,都能生产震撼的高清视频。

经典影视场景

图片

Prompt:镜头特写,战后的废墟上,一面破旧的旗帜在风中飘扬,残垣断壁间偶尔有火苗闪烁,幸存的居民在废墟中搜寻可用物资,营造出一种沉重和希望交织的战后世界氛围。

图片

经典的影视场景尝试了,战场上崩腾的战马,战后废墟里摇摆的旗帜,整齐摆放的甲胄军械库等等,对系列的刻画都非常到位。

3. 横向及权威综合评测

为了横向对比清影AI生成视频的效果,我还尝试了国内主流AI视频生成软件可灵,从动物、风景、建筑3个场景各挑了一个case对比:

Prompt:镜头缓缓推进,一只雄壮的狮子站在非洲草原的高地上,它金色的鬃毛在夕阳下闪耀。它的目光警惕,身体微微下蹲,准备随时跃起追逐猎物。周围是一片干枯的灌木丛,远处传来其他动物的叫声,营造出一种野性而宁静的氛围。

清影结果:

图片

可灵结果:

图片

Prompt:镜头跟随,一群小鱼在五彩斑斓的珊瑚礁中游弋,它们穿梭在海葵和珊瑚之间,享受着海底世界的奇妙和宁静。

清影结果:

图片

可灵结果:

图片

Prompt:镜头跟随,一群小鱼在五彩斑斓的珊瑚礁中游弋,珊瑚礁围绕着一座由海螺建成的小屋。小屋的窗户上挂着贝壳风铃,随风发出悦耳的声音,吸引着海底的生物们。

清影结果:

图片

可灵结果:

图片

通过这几组case可以发现:

  1. 智谱清影生成视频清晰度,画质,主体及内容的丰富度都优于可灵。

  2. 智谱清影的视频生成速度只需20秒,远快于可灵的2-5分钟。

  3. 可灵生成的视频整体要自然一些,这比清影好一点。

          

不仅我个人体感结论如此,最新出炉的权威CLUE中文语言理解最新文生视频基准评测AIGV-t2v中,智谱清影综合排名和6大场景评测中,名列国内第一名;全球看Runway还是当之无愧的王者,智谱清影名列第二,可灵网页版排第三。    

图片

    

图片

最后,智谱在短短10个月内从ChatGLM发展到GLM-4,展现了快速发展的能力。他们在开源或走向开源的道路上展现出了勇气,实践“Build in Public”的理念。AI视频生成方面与AI生图相比存在一定差距,过多的提示语可能导致画面元素混乱,漏写则可能导致模型生成内容不可控,这种不可控性也是AI生成视频被质疑的原因之一。虽然第一版的清影存在一些缺点,但我们可以期待这个AI领域的“实诚孩子”在GLM-4的支持下,能否超越Sora,需要多少时间来实现。

  • 19
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lqfarmer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值