AI每日新闻 | 8B 视觉语言模型 | Premiere Pro|DaVinci Resolve 19 | Poe 多模聊天

Idefics2：功能强大的社区 8B 视觉语言模型

 Idefics2是一种通用的多模态模型，可将任意序列的文本和图像作为输入，并生成文本回复。它可以回答有关图像的问题、描述视觉内容、创建基于多幅图像的故事、从文档中提取信息以及执行基本算术运算。

Idefics2 在 Idefics1 的基础上进行了改进：Idefics2 具有 8B 参数、开放式许可证（Apache 2.0）和增强的 OCR（光学字符识别）功能，为多模态社区的工作奠定了坚实的基础。它在视觉问题解答基准测试中的表现在同类产品中名列前茅，可与 LLava-Next-34B 和 MM1-30B-chat 等更大型的模型相媲美。

Idefics2 从一开始就集成在Transformers 中，因此可以直接针对许多多模态应用进行微调。

Adobe 预览用于 Premiere Pro 的人工智能对象添加和移除功能

Adobe在其视频编辑软件Premiere Pro中展示了即将于2024年推出的基于Firefly生成式AI的新功能，主要包括：①生成式延展，通过AI智能扩展短片段以实现更精准的编辑和过渡；②对象添加与移除，利用AI技术轻松去除或添加画面中的特定对象；③导入自定义AI模型，如Pika用于生成式延展，Sora（OpenAI）能自动生成B-Roll镜头，但AI生成视频功能尚处早期研究且可能引起行业争议；④新增“文本转视频”功能，可通过输入文本或上传参考图片在应用内生成视频片段。同时，Adobe还计划于同年5月向用户推送一系列便捷性更新，如交互式过渡手柄、自动音频分类标签、效果徽章及改进的时间线波形显示等。

Blackmagic 的 DaVinci Resolve 19 配备人工智能运动跟踪和调色功能

Blackmagic Design在NAB 2024年大会上发布年度更新并推出超过十款新产品，其中亮点包括DaVinci Resolve编辑套件的新版本——DaVinci Resolve 19。此版本借鉴了竞品特性，引入大量基于AI的新功能，应用于特效、色彩校正、剪辑、音频等多个方面。具体新功能如下：

• 编辑模块新增文字编辑功能，可使用文本而非视频对剪辑进行编辑，支持语音识别转文字，并能删除、搜索文本内容，同时还包含新的修剪窗口、固定播放头、快速调整音频属性等功能。

• 色彩工具新增“Color Slice”工具，允许基于六种颜色向量及皮肤色调滑块进行精细化图像调整，方便快捷地改变饱和度和色相。

• 引入名为“IntelliTrack”的AI驱动跟踪功能，便于快速选择跟踪点创建特效或稳定图像，并增加了类似Lightroom的AI降噪系统，无需手动调整即可有效减少图像噪声和胶片颗粒。

• 新增“Film Look Creator”模块，提供60多项电影级参数供用户自由调整色彩风格，以及“Defocus Background”模拟浅景深效果，并具备面部细化追踪功能，可精细调节人脸亮度、色彩和细节等。

• Fusion FX编辑器增加了3D对象操作的便捷工具，在音频方面推出了“Dialogue Separator FX”，可以分离对话、背景音和环境音。

DaVinci Resolve 19已开放公开测试，Studio版售价295美元，基础版免费，但尚未公布正式发布日期。

Poe 的多聊天机器人

今日，Poe平台迎来一项重要新功能：多模聊天。该功能使得用户能够在同一个会话线程中轻松与多个模型互动。由于不同模型各有优劣，针对特定任务优化的和具备独特知识的模型不一而足，现在通过Poe，只需一键点击，就能比较推荐模型的回答，并通过@提及的方式召唤任何想要使用的模型。这一新能力让您可以轻易对比各种模型的结果，发掘最优模型组合，从而在工作流程各步骤中选用最合适工具。

举例来说，当你想深入了解某个主题时，可以先询问Claude 3 Opus模型，并与GPT-4或Mistral Large的答案作比较；接着利用Gemini 1.5 Pro的大容量上下文窗口进行深度分析，@提及Web Search机器人获取最新话题信息；再唤入一个专业写作机器人，结合之前所有模型提供的上下文完成写作任务。对于图像生成需求，则可提示DALL-E 3，并将其输出与SDXL、Playground v2.5或其他图像生成模型在Poe上的结果进行对比。