把Sora生成的视频发给谷歌Gemini 1.5 Pro会发生什么？！

本文链接：https://blog.csdn.net/weixin_40774379/article/details/136202347

大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效率提升，AI行业洞察。关注我，AI之路不迷路，2024谷歌一起变强。

2月15日，科技圈发生了2件大事。首先是谷歌推出了升级版AI模型Gemini 1.5 Pro，随后OpenAI则发布了名为Sora的文本到视频的AI模型。OpenAI发布Sora和谷歌推出Gemini 1.5 Pro的时机引发了人们的猜测，认为这是一种故意转移注意力的举动。这两个科技巨头在人工智能领域都取得了重大进步，看起来他们都在争夺大众的注意力。

一方面，谷歌的Gemini 1.5 Pro以其惊人的100万词条上下文窗口突破了现有技术的限制，能够处理大量信息，包括视频、音频和代码库等，比如1小时的视频、11小时的音频以及超过30,000行代码或70万字的代码库。这标志着在理解和生成复杂内容方面的一大进步。对比来看，GPT-4 Turbo 拥有12.8万上下文，Anthropic Claude 2.1则拥有20万上下文窗口。

关于Gemini 1.5 Pro的详细情况，请看我这篇文章：重磅更新！谷歌发布Gemini 1.5 Pro！多模态，1000K上下文！附Waitlist链接！

另一方面，Sora具备将文本描述转化为长达60秒的视频的能力，其视频内容可以非常丰富和详细，包括复杂的场景、摄像机运动和表情丰富的人物，因此被许多人誉为视频生成领域的“ChatGPT时刻”。

关于Sora的详细信息，请看我的这篇文章：开年王炸！OpenAI发布文本转视频模型Sora，有亿点震撼！

谷歌Gemini 1.5 Pro锐评Sora生成的视频

一名谷歌的董事把Sora生成的视频发给了Gemini 1.5 Pro，让其对这个AI生成的视频进行了分析点评。

Gemini 1.5 Pro正确地分析出了视频的内容，但表示虽然视频很吸引人，但存在很多不合理的有逻辑问题的地方。

视觉上的冲突

视频中同时展示了大雪和樱花盛开的场景，这是不正常的，因为樱花通常在无雪的春季开放。这种鲜明对比引起了人们的注意，并对视频的真实性提出了质疑。

不自然的降雪模式

Gemini 1.5 Pro注意到视频中降雪的均匀和不自然模式。现实生活中的降雪场景通常表现出不规则性，而Sora的创作中缺少了这一点。这一观察增加了对视频可能无法准确代表现实生活场景的怀疑。

缺乏冬季服装

尽管视频中描绘了强烈的降雪，但视频中的角色并未穿着任何冬季服装。这一疏忽引发了Gemini 1.5 Pro对视频真实性的怀疑，因为它偏离了人们对雪景环境的期望。

总体评估

Gemini 1.5 Pro以一个发人深思的声明结束了其分析：“总的来说，这段视频在视觉上很吸引人，但其中的不一致性表明它不是一个现实生活场景。”虽然Sora的视频可能以其惊艳的视觉效果吸引观众，但Gemini 1.5 Pro的敏锐观察揭示了那些令其真实性受到质疑的差异。

Sora原视频

分析原文

Here's what Gemini 1.5 Pro had to say about the SORA video:

"The video is of a snowy street in Japan, with cherry blossoms in bloom. There are a few inconsistencies that suggest the video may be AI-generated.

First, the snow is falling very heavily, but the cherry blossoms are still in bloom. Cherry blossoms typically bloom in the spring, when the weather is warm and there is no snow.

Second, the snow is falling in a very uniform way, which is not how snow typically falls in real life.

Third, the people in the video are not wearing any winter clothing, even though it is snowing heavily.

Overall, the video is visually appealing, but the inconsistencies suggest that it is not a real-life scene." 这是 Gemini 1.5 Pro 对 SORA 视频的评价：

这段视频是在日本一条雪街上拍摄的，樱花盛开。有一些不一致之处表明这段视频可能是由人工智能生成的。

首先，雪花纷纷扬扬地飘落，但樱花依然盛开。樱花通常在春天盛开，当天气温暖而没有雪。

其次，雪以非常均匀的方式下落，这并不是雪在现实生活中通常下落的方式。

第三，视频中的人们没有穿任何冬季衣物，尽管下着大雪。

总的来说，这个视频在视觉上很吸引人，但不一致之处表明这不是一个真实场景。