Project Astra正面硬刚GPT-4o、Veo对抗Sora、新版Gemini变革搜索

谷歌I/O 2024如期来了，眼花缭乱地发布了一堆更新。

跟OpenAI半小时的「小而美」发布会相比，谷歌显然准备得更加充分，当然，时间也相当之长……

2个多小时的发布会也是挑战着观众们的极限，在场人群早已困倒一大片

准备好，谷歌要开始轰炸了。

首先，Gemini 1.5 Pro，上下文长度将达到惊人的200万token。

然后，面对昨天OpenAI GPT-4o的挑衅，谷歌直接甩出大杀器Project Astra，视觉识别和语音交互效果，跟GPT-4o不相上下。 15

接着，谷歌祭出文生视频模型Veo硬刚Sora，效果酷炫，时长超过1分钟，打破Sora纪录。

最后来了一个重磅消息：谷歌搜索将被Gemini重塑，形态从此彻底改变！我们不再需要自己点进搜索结果，而是由多步骤推理的AI Overview来代办一切。

发布会结束后，劈柴甚至还用Gemini算了一下，整个发布会共提了121次AI。

Gemini时代，来了

CEO劈柴上来就无视了GPT和Llama的存在，这样总结道：「我们完全处于Gemini时代」。

并且给出数据：如今全世界使用Gemini的开发者，一共有150万人。

万众瞩目的Gemini更新如期而至。

Gemini 1.5 Pro最强特性之一，就是超长的上下文窗口，达到了100万tokens的级别，超过了目前所有的大语言模型，而且开放给个人用户使用。

今天，劈柴宣布：它的上下文token数将会达到2000K（200万）！相比之下，GPT-4 Turbo只有128K，Claude 3也只有200K。

而这也意味着——你可以给模型输入2小时视频、22小时音频、超过6万行代码或者140多万单词。

2M长上下文窗口，可以去排队申请了

这个上下文长度，已经超过了目前所有大模型。

但是，这并不是终点，谷歌的目标是——无限长上下文，不过，这就是后话了。

用篮球讲解牛顿运动定律

在这样的Gemini加持下，我们可以实现许多迅捷的功能。

比如，作为父母需要了解孩子在学校的情况，就可以在Gmail中要求Gemini识别所有关于学校的电子邮件，然后帮你总结出要点。

如果你错过了公司会议，但可以拿到一小时时长的会议录音，Gemini就能立刻帮你总结出会议要点。

为了帮助学生和教师，在NotebookLM中，谷歌设计了一个「音频概述」的功能。

把左边的所有材料作为输入，Notebook就可以把它们整合成一个个性化的科学讨论了。

对于听觉学习型学生，这种形式就非常生动。

演示这个demo的Josh表示，自己的儿子第一次看到这个功能时，直接惊掉下巴。

他第一次感觉到，学习不再是死板的，牛顿力学定律居然以通过篮球来学习！

支持多模态的Gemini可以处理你上传的任何格式的信息，理解内容后将其改造成适合你的形式，与你对话互动了！

Agent：帮你申请退货

接下来，劈柴展示了Agent的一些例子。

买了一双鞋子，不合适想退回怎么办？

拍一张照片给Agent，它就可以从你的邮箱中搜出订单后，帮你填写退货单了。

再比如，你刚搬到某个城市，Agent就能帮你探索你在这个城市所需的服务了，比如干洗店、帮忙遛狗的人等等。

如果靠我们自己搜索，可是要搜十几个网站，但Gemini可以发挥自己的「多步推理」能力包揽这些任务，把你需要的信息一次性提供给你！搜索和整合信息的功能非常强大，输入新家的地址后，它甚至可以代替软件问你外卖应该放哪个位置。

总的来说，谷歌的理念就是：利用Gemini的多模态、超长上下文和智能体能力，把世界上的所有信息组织起来，让它们对每个人都可触达、可利用。而最终目标，就是让AI对每一个人都有用。

最新版 Gemini 革新谷歌生态

在 I/O 大会上，谷歌展示了最新版 Gemini 加持的搜索能力。

25 年前，谷歌通过搜索引擎推动了第一波信息时代的浪潮。现在，随着生成式 AI 技术的演进，搜索引擎可以更好地帮你回答问题，它可以更好地利用上下文内容、位置感知和实时信息能力。

基于最新版本的定制化 Gemini 大模型，你可以对搜索引擎提出任何你想到的事情，或任何需要完成的事 —— 从研究到计划到想象，谷歌将负责所有工作。

有时你想要快速得到答案，但没有时间将所有信息拼凑在一起。这个时候，搜索引擎将通过 AI 概述为你完成工作。通过人工智能概述，AI 可以自动访问大量网站来提供一个复杂问题的答案。

这次AI Overview即将发布的另一个重磅功能，就是多步骤推理。

它能将用户输入的一个复杂问题分解成多部分，确定需要解决哪些问题，以及用什么顺序解决。

因此，以前可能要花几分钟甚至几个小时的研究，现在几秒钟内就可以完成！因为它将十个问题合而为一。比如，如果想找到波士顿最好的瑜伽或普拉提工作室，它会直接搜出来结果，然后帮你整理好情况介绍和工作时间。只要一次搜索，所有需要的信息就自动呈现出来。在下面这个例子中，你可以要求谷歌提供一个三天的膳食计划。这些食谱被从整个网络整合出来，清晰又全面。而且，我们还可以用视频去搜索了！比如，该怎么修这个唱片机？以前，我们需要进行一堆搜索，确定它的牌子、型号。现在，直接拍一个视频丢给谷歌，然后直接开口问：它的这个毛病是什么原因？谷歌用AI Overview，给出了最全面的信息。从此，在谷歌搜索中，你需要做的，就是简单的「张嘴问」。

反击 Sora：发布视频生成模型 Veo

在 AI 生成视频方面，谷歌宣布推出视频生成模型 Veo。Veo 能够生成各种风格的高质量 1080p 分辨率视频，时长可以超过一分钟。

凭借对自然语言和视觉语义的深入理解，Veo 模型在理解视频内容、渲染高清图像、模拟物理原理等方面都有所突破。Veo 生成的视频能够准确、细致地表达用户的创作意图。

值得注意的是，Veo 模型提供了前所未有的创意控制水平，并理解「延时拍摄」、「航拍」等电影术语，使视频连贯、逼真。

Veo 还支持以图像和文本一起作为 prompt，来生成视频。通过提供参考图像与文本提示，Veo 生成的视频会遵循图像风格和用户文本说明。

有趣的是，谷歌发布的 demo 是 Veo 生成的「羊驼」视频，很容易让人联想到 Meta 的开源系列模型 Llama。

在长视频方面，Veo 能够制作 60 秒甚至更长的视频。它可以通过单个 prompt 来完成此操作，也可以通过提供一系列 prompt 来完成此操作，这些 prompt 一起讲述一个故事。这一点对视频生成模型应用于影视制作非常关键。

Veo 以谷歌的视觉内容生成工作为基础，包括生成式查询网络 (GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiere 等。

从今天开始，谷歌会为一些创作者在 VideoFX 中提供预览版 Veo，创作者可以加入谷歌的 waitlist。谷歌还将把 Veo 的一些功能引入 YouTube Shorts 等产品。

对标GPT-4o，Project Astra打造通用AI智能体

我们已经看到，新模型GPT-4o赋予了ChatGPT强大的实时对话能力，让Her走进现实。全新AI语音助手，是通往AGI的下一个未来。对标OpenAI，谷歌DeepMind今天首次对外公布了「通用AI智能体」新项目——Astra。其实，昨天谷歌放出了一个demo，已经让所有人对Astra项目有了初步的了解。而今天，现场的演示更加炸裂。网友称，这是谷歌I/O大会中，自己最喜欢的part。不仅有Astra强大的对答如流的能力，还首次展示了「谷歌AR原型眼镜」配上AI的震撼演示。

Astra两部分演示，每段视频均为单次拍摄、实时录制完成召唤Gemini之后，测试者提出问题，「当你看到会发出声音的东西时，告诉我」。它回答道，「我看到一个扬声器，它可能会发声」。接下来，测试者用红色剪头指向扬声器的顶部，再次问道，「这个扬声器的部件叫什么」？Gemini准确理解指令，并答出「这是高音扬声器，能产生高频的声音」。然后，对着桌上一桶彩色蜡笔，让Gemini就展示的物体，给出了「押头韵」的创意——「Creative crayons color cheerfully. They certainly craft colorful creations.」Gemini以「c」音重复开头，生动形象地描绘了用蜡笔欢快涂色，可以创作出许多绚丽多彩作品的场景。而更让你意想不到的是，它还可以读懂代码。甚至都不是截屏，而是用摄像头怼着电脑屏幕拍，然后问Gemini「这部分代码是做什么的」？Gemini看了一眼，就立即给出回答：「此段代码定义了加密和解密函数。它似乎使用AES CBC加密，根据密钥和初始化向量对数据进行编码和解码」。再将镜头移向窗外，「我在哪个街区」？Gemini便回答道，「这似乎是伦敦国王十字区，这里以火车站和交通枢纽而闻名」。眼镜找不到了？直接可以问Gemini，「你记得在哪里见过我的眼镜」？它立刻回想刚刚见到的场景，「是的，我记得。你的眼镜就在桌子上，旁边有一个红苹果」。要知道，刚刚这个问题并没有向它提过，Astra完全是凭自己的视觉记忆回答出来的，简直成精了。而Astra的这番表现，直接让全场倒吸一口凉气，发出惊呼。

新一代开源大模型 Gemma 2

今天，谷歌还发布了开源大模型 Gemma 的一系列更新 ——Gemma 2 来了。

据介绍，Gemma 2 采用全新架构，旨在实现突破性的性能和效率，新开源的模型参数为 27B。

此外，Gemma 家族也在随着 PaliGemma 的扩展而扩展，PaliGemma 是谷歌受 PaLI-3 启发的第一个视觉语言模型。

谷歌原型AR眼镜首现身

接下来的演示，更炫酷了。刚刚找到的眼镜，竟是谷歌的原型AR眼镜！配合上强大的Gemini模型，即将开辟全新的应用。测试者走到白板前，看向一个「服务器」的构建示意图，然后问道，「我应该怎样做能使这个系统更快」？Gemini表示，「在服务器和数据库之间，添加缓存可以提高速度」。再比如，「看到如下图，会让你想起什么」？——薛定谔的猫！「在帮我给这对家伙，起一个二重唱乐队名字」。——Golden Stripes大会上，Hassabis称，「一直以来，谷歌希望构建一个能在日常生活中真正有所帮助的通用AI智能体。如今，这一愿景成为现实，可以追溯到很多年前。这也是谷歌从头开始打造多模态Gemini的主要原因」。真正的通用AI智能体，必须像人类一样，对复杂、动态的世界做出理解和响应。它需要接受和记住所看到的内容，以便理解上下文采取行动，并且具备主动性和个性化。甚至，你可以与其如真人般丝滑交流，没有任何滞后或延迟。为了打造这款全能AI智能体，谷歌DeepMind克服了很困难的工程挑战——将AI响应时间降低至对话水平。具体来说，谷歌团队在Gemini的基础上，开发了能够持续编码视频帧的智能体。然后，将视频和语音多模态输入，整合到事件时间轴中并缓存，以便实现AI智能体高效召回，更快处理信息。此外，谷歌还使用广泛的语调变化，增强了语音输出效果。基于这些努力，Astra能够更好理解上下文，在交谈中可以快速做出反应，让互动的节奏和质量感觉更加自然。

有网友称，「谷歌的这个Astra项目绝对是游戏规则的改变者，我们现在生活在一个由个人AI助手组成的世界，聊天机器人现在已经过时了。它可以实时地看、说、听，几乎没有延迟」当然，这次演示中，谷歌偷偷推出的AR硬件，也成为网友们的关注点。谷歌科学家刚刚放出了，用Astra看谷歌I/O大会的演示，可以自己感受下。

图像、音乐、视频，面面俱到

与此同时，谷歌大会上再次推出了一系列关于「生成式媒体工具」的最新进展。其中，包括图像、音乐，以及视频模型。

最强AI文生图Imagen 3

首先，AI文本到图像生成模型Imagen 3迎来重磅升级。

比起上一代，Imagen 3能生成更多细节、光影丰富，且干扰伪影更少的图像。新模型对提示的理解能力，得到显著提升，可以从较长的提示中，捕获细节。如下图中，对狼的特征，背景颜色，画质质量等要求，Imagen 3一致地呈现了出来。

第六代TPU Trillium，4.7倍性能提升

在背后给这些技术进步提供基础设施的，就是谷歌的TPU。

简单来说，相较于TPU v5e，第六代Trillium TPU在性能上实现了高达4.7倍的提升，并在能效上提升了超过67%。为了实现这一飞跃，谷歌增大了矩阵乘法单元（MXUs）的规模并提升了时钟速度。并为Trillium配备了第三代SparseCore——专门用于处理高级排序和推荐工作负载中常见的超大嵌入的加速器。在这里，SparseCores可以通过从TensorCores策略性地卸载随机和细粒度访问，有效加速了重嵌入型工作负载。与此同时，谷歌还将高带宽存储器（HBM）的容量和带宽翻倍，并将芯片间互连（ICI）的带宽提升了一倍。由此，Trillium可以支持更加复杂的模型，拥有更多的权重和更大的键值缓存，并大幅缩短了大模型的训练时间和响应延迟。在一个高带宽、低延迟的Pod中，Trillium可以扩展至256个TPU。而通过多切片技术和Titanium智能处理单元（IPU），Trillium还可以进一步扩展——通过数百个Pod，连接数以万计的芯片，并在一个多千兆位每秒的数据中心网络支持下，组成一个超大规模的超级计算机。

更多的开源模型

最后，谷歌还发布了自家首个视觉-语言开源模型——PaliGemma，专门针对图像标注、视觉问答及其他图像标签化任务进行了优化。

不仅如此，谷歌还将在6月推出规模更大的开源模型——Gemma 2 27B。在性能方面，全新的Gemma 27B不仅超越了规模大了2倍还多的模型，而且还能在GPU或单个TPU主机上高效运行。