Sora完整能力曝光！多模态视频理解或成为下次爆点

于 2024-02-26 21:41:54 发布
阅读量345 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/136309433
版权

大家好我是二狗。

就在今天，据推特大V“小互”分享，Sora的完整能力曝光，根据OpenAI 申请的SORA™商标注册描述显示：

除了众所周知文生图和文生视频之外，Sora还具备多模态图像视频理解能力—— 对视频和图像进行识别、处理、分析、理解。

下面是SORA™商标注册描述截图：

OpenAI 总是处处抢先一步

Sora 模型文生视频的强大，大家都见识到了。

下面是 Sora 模型生成的鲜花老虎漫天飞舞的视频。

而这次 Sora 模型暴露出来的多模态图像视频理解能力就很值得人玩味。

毕竟此前几天，Sora 模型正是在谷歌发布拥有多模态视频理解能力的Gemini 1.5之后几个小时才发布的。

Sora 模型的多模态视频理解或成为下次爆点。

同时这正是 OpenAI 的宣发理念——气死对手，永远占领用户心智。

前几日，据昆仑万维创始人周亚辉剧透，OpenAI将很快发布GPT4.5，而且估计会故意选择 Anthropic 发布Claude 3的时候发布。

Sora模型离不开中国？？

就在OpenAI发布Sora 模型改变世界的时候。

在国内，竟然有报道称Sora关键原材料之一来自于一家绵阳公司：

网友们纷纷开启了吐槽模式：

夕小瑶
关注
博客
今天，智谱「新清影」上线，率先进入有声视频生成时代！还要继续开源宠粉
11-10 546
那就是，但凡某个工作，需要人去检索、扒拉的，理论上都能用生成式范式给定义一个新的任务出来，把用户检索query->满足用户query的内容构造成训练集，选择合适的大模型架构训个模型出来，然后本来要花大量时间去检索扒拉内容的那个工种，就因此被提效了。从当前的技术积累就不难看出，沿着当前的速度继续迭代下去，可能用不了两年，我们或许只需要一个想法+一张底图，就能生成一段自带bgm、音效甚至配音的高可用视频。看到智谱这波在视频生成的升级，说真的很开心，也很骄傲，我们与国外的差距正在以超预期的速度在缩小。
博客
Meta VR硬件主管强势加入OpenAI，与苹果传奇设计师合作开发新AI设备
11-05 269
OpenAI要进军AI消费类硬件了？在LinkedIn上，Kalinowski称，在新角色中，她将首先专注于OpenAI的机器人工作和合作伙伴关系，以帮助将人工智能带入物理世界并释放其为人类带来的好处。这并不是夸大其词。作为硬件高管，Kalinowski的履历格外亮眼。从2013年2月到2022年3月，Kalinowski领导了Meta的VR护目镜的硬件团队九年时间。从2022年3月开始，Kalinowski又开始领导Meta的AR眼镜团队，并且负责监督Orion的创建。
博客
比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行
11-05 920
Ferret-UI 2改善了跨不同平台的用户界面（UI）理解和交互，支持多平台，具有高分辨率图像编码和自适应网格化功能，并且改进了数据生成。大语言模型在人机交互中的体验优化确实是非常重要的！随着技术的不断进步,人工智能系统正在朝着更加智能、自然和无缝的交互方向发展。现代应用程序已经扩展到多模态交互,包括视觉和语音识别,使用户界面能够更全面地理解用户的多维度需求。
博客
谷歌CEO劈柴吹了个牛，被自家员工“反诈”
11-04 726
我之前提过，如果一个使用Copilot等工具的8人团队的效率，等同于一个10人的团队，那么我认为说“AI替代了2个工程师”是合理的。注意“削减成本”（做得更少，以降低成本）和“提高效率”（做同样的事情，但成本更低）之间的区别。底下的一位曾在RPA工作的网友评论称：现在这个环境下，即使真的有公司实现了“AI取代人力”，他们也不敢直接公开声称，这可能引起政客的错误关注和公众的恐慌。这篇帖子下面，第二位员工发言的“没有人敢说我们用AI取代了X%的人力”内容，又激起了人们关于“AI是否会导致人下岗”的讨论。
博客
谷歌被俄罗斯罚款2,500,000,000,000,000,000,000,000,000,000,000,000美元
11-01 666
小鹿还查了下，在过去，对科技巨头的罚款通常是按公司年收入的百分比征收的。例如，同样心比较狠的欧盟对违反法规的公司通常征收最高为年营业额10%的罚款。欧盟以罚的狠出名了。。俄罗斯罚谷歌这个金额真的是让人长见识了！小鹿真的很期待后续的发展，已经搬好小板凳等着了！到底是谷歌给不起罚款认栽而停止对俄罗斯制裁的种种小动作，还是真给出这么多钱啊。
博客
Copilot放大招！接入Claude和Gemini，Cursor地位不保？
10-31 564
最初，GitHub选用的是OpenAI GPT-3的微调版本，逐步升级至最新的GPT-4模型。去年，GitHub推出了Copilot Chat，为了满足不同的延迟和质量需求，Copilot的基础模型经历了迭代，采用了包括GPT 3.5-turbo、GPT 4o以及4o-mini在内的多个版本。o1-preview和o1-mini：更强的推理能力，在GitHub的对比测试中，o1-preview模型能够更深入地理解代码的约束条件和边缘情况，生成的代码结果在质量和效率上都更为出色。Github，你这是在害我！
博客
大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效
10-31 725
第一阶段的大学习率和第二阶段完整的学习率衰减过程对CPT的性能尤为重要。CPT无法兼顾不同版本LLMs的性能。完整的学习率衰减过程能确保当前版本的LLMs的最优性能，但后续版本的LLMs则需要以大学习率训练提供的初始化checkpoint，这是CPT无法同时满足的。上图分别展示了PTFS、CPT和我们提出的范式应用于Cosine学习率调度策略的学习率曲线。特别地，我们的范式也适用于其它学习率调度策略，如Knee和Multi-Step等。
博客
OpenAI放弃自制AI芯片！伦敦场开发者日Hugging Face工程师现场“拷问”Sam Altman
10-31 790
夕小瑶科技说 原创作者 | 小鹿OpenAI 2024年开发者大会第二场（伦敦场）刚结束。10月初在旧金山举办了第一场，但这次没有像上一场放出很多花活，这次开始走剧透局了！现场的OpenAI 产品主管 曝光了 GPT o1即将更新的功能：Function calling（函数调用）Developer messages（开发者messages）Streaming（流式传输）Structured outputs（结构化输出）Image understanding（图像理解）
博客
冲出“包围圈”，阶跃星辰登顶国内多模态理解大模型榜首
10-25 317
今年 3 月份，阶跃星辰正式亮相时就一口气发布了三款大模型产品：综合性能超过 GPT-3.5 的千亿参数大模型 Step-1，千亿参数的多模态模型 Step-1V 和国内首款万亿参数模型语言大模型 Step-2 的预览版。除了自研应用，阶跃的 Step 系列模型正在获得越来越多开发者的选用，网红 AI 应用胃之书、国内首款 C 端 AI 电商应用物圆、AI 科研大模型专业社区 ReadPaper、AI心理陪伴应用林间聊愈室、面向胰腺癌肿瘤患者的智能 RAG 平台小胰宝等等都不约而同的选择阶跃星辰的大模型。
博客
0.11秒出图！OpenAI发布sCM模型，提速50倍，作者来自清华
10-24 504
此外，研究团队也指出，在未来的研究中，根据特定应用的需求，评估sCM的质量可能需要采用不同的方法。因此，sCM的研究团队提出改进扩散模型的训练模式，学习一个函数θ，将带噪声的图像映射到其在PF-ODE轨迹上的下一个时间步的更清晰版本。JVP 重新排列和 Flash Attention 的 JVP 计算：在Flash Attention风格的单次前向传递中高效地计算softmax自注意力及其JVP，显著减少了注意力层中JVP计算的GPU内存使用，提高了大规模模型训练的数值精度和效率。
博客
Character AI被起诉！14岁青少年自杀，AI陪伴何去何从
10-24 597
我认为，原事件中的AI，反而像是拯救孤独的良药。与这些AI机器人聊天，甚至可以没有压力的“社交”：我不用考虑哪句话说错了，我不用考虑对方会不会回复我，我不用考虑对方的心情，甚至我的几乎所有问题，对方都有办法解答。最近，美国佛罗里达州，一名14岁男孩Sewell Setzer的父母控告Character AI公司，声称孩子沉迷该公司的AI聊天机器人，最后走上了自杀的道路。他在日记中写道：“我非常喜欢呆在房间里，因为我开始与“这个世界”脱节，我也感到更加平静，更加与Daenerys亲近，甚至更爱她，也更快乐。
博客
最强小模型又易主！Mistral发布小部长Ministral 3B、8B，登基边缘计算之王！
10-17 519
研究团队发了下面忍者神龟的meme，说Mistral 7B发布才一年，但是就在今天，哪怕是最小的模型（小部长3B）就已经大多数基准上的性能已经超过了它：岁月不饶人啊，。。。不过，3B小部长的成功也揭示着，随着技术的进步，AI的"小而美"时代正在到来～
博客
OpenAI多智能体框架Swarm，被曝剽窃！20岁创始人指控OpenAI抄袭
10-14 510
业内人士指出Swarm框架的整体设计与其他开源多代理系统（Rasa 、Hugging Face Transformers）大致一样，没有自己创新的整体结构，其中部分代码的结构设计和实现方式与已开源的代码都有高度重合，框架从整体上看原创系不高。Swarms创始人Kye Gomez指控OpenAI不仅模仿起了名字，而且“借鉴”了代码和方法，从智能体结构的语法到群体类对象都是模仿的痕迹，但是OpenAI在官方博客中没有任何的引用。没错，你没有看错，名字非常的相似，OpenAI的是Swarm，这个是Swarms。
博客
马斯克又牛了！一双机械臂，夹住火箭！实现无限回收火箭
10-14 529
SpaceX称，对这个超重的助推火箭，已经实现了半厘米的控制精度——所以，助推火箭的回收尝试是时候提上日程了。所以，SpaceX设计了“筷子”机械臂系统Mechazilla，在火箭降落时，利用机械臂将其抓住，这样可以减少助推火箭落地时产生的压力。在接近发射塔时，火箭会启动3个发动机降速，并通过对火箭的控制，这个助推火箭虽然只高71米，但是它上面配备了多达33个猛禽发动机，能产生数千吨的推力，本身重量重的要命。昨天晚上，SpaceX的火星移民星舰，终于迎来了难得的第5次试飞，这次试飞最大胆的部分，就是。
博客
马斯克的Cybercab首秀！没有方向盘和踏板，26年量产，特斯拉这次又玩大的了
10-11 742
今年是特斯拉成立的第10周年，回顾10年前的2014年10月9日，搭载Mobileye EyeQ3的初代特斯拉Autopilot首次问世，开启了特斯拉时代。作为特斯拉成立10周年之际的发布会，虽然远远谈不上说失望，但是相较于之前马斯克给行业的惊喜，这次发布会公开的成果只能算是中规中矩吧～奶茶原本还以为能看到像变形金刚那样的车机器人呢！尽管如此，无人出租车的正式亮相还是相当振奋人心。让我想起了马斯克曾经提到的愿景：“让车辆在闲置时，通过共享为你赚钱。
博客
唯一答对“strawberry中有几个r”的开源项目，被我找到了！
10-10 1150
随着Open O1项目的进展，继续突破大语言模型的界限，不仅能实现类似OpenAI o1的CoT的性能，还能在测试时间扩展方面处于领先地位，使所有人都能使用先进的AI功能，最终，将Open O1变成人工智能进步的灯塔，造福所有人。该团队通过整理了OpenAI o1模型的CoT（思维链）数据，对Llama3.1-8b和Qwen2.5-7b模型进行训练，赋予了这两个小体量模型更强的长期推理和解决问题的能力。而且，只有7B和8B的参数，还是个小模型，基于LLama-8B和Qwen-7B进行的微调。
博客
哈佛大学俩学生开发出一种 AI 眼镜，看你一眼就能扒光所有个人信息
10-09 875
哈佛大学的两位学生开发的I-XRAY的项目，仿佛把科幻电影中的场景变成了现实！虽然这两位学生并未直接制造出风险，但他们的发明却无意中揭露了一个问题：在如今技术高度发达的时代，个人信息的获取变得异常便捷，同时也暴露了隐私保护的脆弱性。这样轻而易举就能创造出“一镜到底”的眼镜，那我们个人信息在互联网上暴露的程度到底是什么样啊。。。。。。
博客
活久见！2024年诺贝尔物理学奖颁给了AI大佬Hinton 和 Hopfield
10-08 635
在这样的时代背景下，Geoffrey Hinton 和 John Joseph Hopfield 获得诺贝尔奖的消息，不仅是对 Hinton 和 Hopfield 个人研究生涯的极大肯定，更是对整个人工智能领域研究价值的国际认可！从理论的深入到真实的日常应用的拓展、普及的过程，我们见证了科技发展的前所未有的崭新轨迹。霍普菲尔德提出的 Hopfield 网络引入了精确的二值神经元和能量函数的概念，描述了大脑中的神经元如何互动以形成记忆，是人类对大脑计算过程研究的开山之作！
博客
OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线
10-03 879
在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。
博客
被Karpathy誉为“蕴藏着类似ChatGPT的机会的AI产品Notebook LM”，它到底做对了什么？
09-30 984
该平台重新定义了与LLM（大语言模型）的交互方式，用户现在可以轻松上传多种格式的资料，包括YouTube链接、音频文件、PDF文档、Google Docs、幻灯片以及网页等，并将这些内容直接集成到笔记本中。此外，用户还可以针对AI生成的内容提出问题，以获得更多详细信息。这种交互不仅要求对语言和意图有更深入的理解，包括对语境、情感和隐含意义的精准把握，还需要拓展到多模态交互，支持声音、图像乃至视频等多种输入和输出方式。，使用户能够直接聆听内容的总结，还可以将生成的播客分享给他人，增强信息的传播和交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值