登上顶会 ICML 的字节跳动多模态成果，到底是怎样实现的？

于 2024-01-23 19:10:45 发布
阅读量644 收藏 8
点赞数 9
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47098359/article/details/135812837
版权
文章介绍了字节跳动研发的X-VLM技术，一种强大的多模态方法，不仅能将图片转化为文字描述，还应用于今日头条和抖音的无障碍功能，助力视障用户。研究者妍妍通过创新突破了行业难题，使得X-VLM在性能上超越同类模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果你打开今日头条，在无障碍模式下双击大图，就能发现图片能被“翻译”成流畅的文字语句。

这项“隐藏很深”的技术名叫 X-VLM，是一种多模态方法，它的另一个版本名叫 X^2-VLM，均来自 ByteDance Research 团队，可实现图片描述、图文检索、图文理解、视觉问答等功能。相关论文登上顶会 ICML ，另一版论文也在 TPAMI 上发表。

该研究的一作是 95 后校招生妍妍，X-VLM 发表前，不少多模态从业者认为，相关模型很难继续创新提升，不过她通过努力，最终找到了突破口。

在字节跳动的真实应用场景中，X-VLM 超过了多个常用模型。DeepMind 2023 年一篇综述也给出评价，X-VLM 模型在相同参数量级下，表现持续领先于其他同类模型。

这项成果已被用在今日头条中，为广大视障群体提供“图片信息转换成文字描述”服务。在抖音等产品中，该技术也有应用。

关于 X-VLM 相关技术实现原理及更多详情，点击下方视频，即可解锁：

 字节跳动更多技术应用 

a0c3d02f1893f9827c4afbfa1002990a.jpeg“抖音”命名是靠它？解码字节跳动如何做A/B测试

bd6d87bd6e421aef61ccc572e767ddd0.jpeg

实不相瞒，字节跳动的大模型、推荐、特效算法……都是在这里跑出来的

3f05deb5404a7c4299d5cf6e87e7b8fe.gif

 点击「阅读原文」，加入字节跳动技术团队 

博客
校招生在字节跳动广告业务部门做出行业首创产品，他们怎么做到的？
09-27 1233
你想象中的技术同学是每天埋头写代码、搞 paper 吗？在广告业务部门，有这样一群技术校招生，他们的工作有点不一样。他们经常和千万级网红达人打交道，天天想着怎么让广告主更高效精准地投放。他们一手握代码，一手握算法，通过技术挖掘商业价值，最终还做出了行业首创的产品模式 “星广联投”。他们到底是怎么做到的？让我们来走近他们，了解背后的故事。1. 行业首创的广告流量分发模式巨量星图是巨量引擎推出的基...
博客
Github获8k Star！入选苹果CoreML模型库的Depth Anything是怎么做出来的？
07-10 947
字节跳动大模型团队成果 Depth Anything V2 现已被苹果官方收入 Core ML 模型库。本文介绍了Depth Anything 系列成果的研发历程、技术挑战与解决方法，分享了团队对于 Scaling Laws 在单一视觉任务方面的思考。值得一提的是，Depth Anything V1 与 V2 两个版本论文一作是团队实习生。近日，字节跳动大模型团队开发的成果 Depth Anyt...
博客
作为校招新人，他们如何在字节跳动做 AI 研究并中选 ICLR 的？
05-11 948
校招生和实习生在字节跳动，工作一年就中选 ICLR 2024 ，这是怎样一种体验？就在 5 月 7 日至 5 月 11 日，2024 年度国际表征学习大会 ICLR 2024 在奥地利维亚纳举办。该活动是深度学习领域最重要的学术活动之一，由深度学习三巨头之二的 Yann LeCun 与 Yoshua Bengio 发起。今年 ICLR ，共有 7262 篇论文提交，整体接收率约为 31% ，中选文...
博客
朝夕光年「红砖」搭建平台架构设计和应用落地
11-16 332
它将活动逻辑抽象为一些原子概念，并在此基础上，封装出组件和模板功能。我们可以在平台上对各类原子数据、操作做单独管理（道具/条件/动作等），通过数据 Mock、时间穿梭等工具模拟用户登录、玩家等级、抽奖结果，我们还在平台上聚合了集成&发布工具，用于进一步提升活动发布效率及质量保证，另外还集成了各类线上运维监控平台，做到对线上数据一目了然。在游戏产品的生命周期中，游戏运营需要实现各类营销活动，通过 Native 和 H5 页面，投放到游戏端内和各种社交媒体，实现“拉新，促活，回流，付费”等核心目标。
博客
“抖音”命名是靠它？解码字节跳动如何做A/B测试
11-09 272
“跑个 A/B 试试？”在字节跳动，你可能经常会听到这句话。实际上，这是字节跳动的一种基础工具 —— A/B 测试，让我们借助大数据的手段，从多种不同的方案中，找到用户正向反馈好的一个。简单来讲，A/B 测试类似一种对照实验，在一定程度上控制变量，然后根据用户的反馈数据，来判断哪种方案是更合适的。就好像你包了一些粽子，然后把甜粽子送给一群朋友，把咸粽子送给另一群朋友，看看他们反应，据此来判断以后端...
博客
朝夕光年游戏高光全套解决方案
11-03 475
以上方案的结合使得各个档位的手机都能在获得最佳的游戏体验的同时享受高光视频自动录制。，为了满足包体积增量的最小化和高性能的要求，在素材规格可控的情况下，我们没有引进软编解码器，而是利用 Android、iOS 平台的编解码 API 来实现硬编/解，这样的实现方式充分利用了手机的硬件能力，提高了素材的处理速度。以上就是今天的分享，希望屏幕前的同学们阅读完本篇文章有所收获，最后欢迎更多热爱游戏与技术的同学们一起加入致力于帮助玩家在令人惊叹的虚拟世界中，一起玩耍与创造的朝夕光年，一起通过朝夕努力，创造游戏光年！
博客
第三届字节跳动奖学金官宣开奖，13位优秀科研学子每人获10万奖学金
10-31 688
他在这些领域的研究中取得了多项重要成果，相关工作发表在了 NSDI、SIGCOMM、OSDI 等顶级网络系统会议，如高速网络方面的 SRNIC（NSDI’23，高性能的、可拓展的RDMA网卡）、Tiara（NSDI‘22，可拓展的、高效的数据中心网关系统）、Aeolus（SIGCOMM’20，最优化数据中心主动传输协议）以及领域专用加速器方面的 FAERY（OSDI‘22，首个推荐召回加速器）。音视频 TranSpeech 则用视觉信息补充音频流，以提高系统的稳健性，开辟了口述、为档案电影配音的应用前景；
博客
第三届字节跳动奖学金官宣开奖，13位优秀科研学子每人获10万奖学金
10-26 587
最近，第三届字节跳动奖学金正式公布了获奖者名单。经过字节跳动技术专家团队层层评审，本届字节跳动奖学金共有来自北京大学、复旦大学、清华大学、上海交通大学、香港科技大学、浙江大学、中国科学技术大学（按拼音首字母排序）的 13 位优秀博士生/硕士生获奖，每人荣获 10 万元奖学金。他们的研究方向分布于深度学习、高性能网络、数据库系统、分子生成、视频编码等多个计算机技术相关领域，完成了许多高质量科研项目。...
博客
字节跳动程序员，如何在工作中优雅地使用表情包？
10-24 693
一 言 不 合 就 斗 图。没错，字节跳动活泼的研发同学们，就是喜欢这样搞 —— 尤其是把表情包发给 PM、测试、上下游。不管是遇上了 bug、被拉了 oncall、还是发现代码不 work，每个场景都能整出表情包来。只能说，他们不仅激发创造第一名，整活儿也是第一名。所以趁着这个 1024 程序员节的机会，技术范儿找到字节跳动的研发同学们，骗了一大波表情包。2024 校招投递还有 7 天就要结束啦...
博客
2023 届的字节跳动技术新人，个个都是宝藏同学
09-22 550
光是有能量的，用光照射一个物体，物体会受到力。为了学会并实践这些复杂的技术，崔达林常常泡在实验室里饱和式研发，从早上 6 点干到晚上 11 点，每次晚上回宿舍时，宿管总是露出无奈的表情——“又是这个永远都不会按时回来的家伙”。因为要让机器人上墙，重量有限制，从高能电池选型，到搜寻轻快的外壳，他找老妈要了一万多元的资金去选购材料，“后来学校报销了之后，我也没把钱还给我妈。一个物体的温度越低，它的量子特性就越高，所以，当云欲暝所在的实验室团队需要研究一些物质的物理性质时，必须让原子达到极低的温度。
博客
2023 届的字节跳动技术新人，个个都是宝藏同学
09-21 668
你一定问过这个问题：「简历上写什么，才能在校招里脱颖而出？」我们也好奇过这个问题：「新来的技术校招生，到底还有多少宝藏是我不知道的？」没错，字节跳动的技术团队每年都会迎来许多宝藏校招生：有人把开源项目做到风生水起；有人在各类技术比赛里拿下优异的成绩；有人经历了亮眼的科学研究；……他们的成长历程，都散发着无尽的创造力。今天，一起来看看 2023 届的技术校招生们，都曾有过哪些有意思的创造吧。骛宇的专...
博客
实不相瞒，字节跳动的大模型、推荐、特效算法……都是在这里跑出来的
09-11 649
在字节跳动，机器学习算法被应用在许许多多不同的场景：在今日头条里，你被推荐的文章；在抖音里，你用到的那些活灵活现的视频特效；在飞书里，把你说的话转化为文字的功能；在前不久公测的 AI 对话产品「豆包」里，AI 给你生成的文本段落；……这些算法模型，是怎样生产出来的？或许你会回答：“收集数据，找预训练模型，在 GPU 上训练，然后各种微调……”但当我们有很多位算法工程师、要训练许许多多模型、使用很多...
博客
字节跳动技术面试官，帮你考前划重点，还有面试真题哦
09-01 314
● 如果遇到你一时想不明白的问题，希望你能根据自己的知识经验积累、理解分析能力，讲出对这个问题的思考。● 可以适当提问，提问也是面试互动的重要部分，如果你能提一些有建设性、有思考的问题，面试官可能会对你另眼相看。● 请记得把你的能力落到代码上，在代码/算法题环节，除了描述自己的思路，也请将你的思路转化为你熟悉的编程语言。● 针对一个很小的问题，你可以讲讲自己的理解，以及行业内有哪些解法，不同的业务场景应该怎么权衡。● 请把你做得最棒的项目放在简历上，展示出项目中你自己的想法，以及把它实现的过程。
博客
字节跳动技术面试官，帮你考前划重点，还有面试真题哦
08-31 210
你的秋招进展如何？字节跳动 2024 校园招聘正在如火如荼地进行中，为了给技术岗的同学加油打气，技术范儿今日特别请来了算法、大数据、后端、音视频、前端、Android、iOS 七个方向的技术面试官，为大家考前划重点。不仅有重点知识和复习资料，甚至还有面试真题。另外，面试官们从多年面试经验中总结出的面试准备技巧你也可以参考哦~编程能力要过关：●掌握常见的算法解决思路（分治、递归、双指针等）●复习...
博客
朝夕光年游戏自动化测试实践
08-30 767
经过这几年的测试实践，目前自动化在兼容性测试、稳定性测试、性能测试、多语言本地化测试、功能回归的部分需求中都有应用，此篇将聚焦分享朝夕光年在自动化能力分解、自动化能力评估、自动化的成熟度、自动化测试全景等四个方面的实践，期望能为行业内开展自动化工作提供思路以及给到对游戏行业/游戏自动化测试方向感兴趣的同学们一些启发。在游戏的研发过程中，游戏自动化一直是开展难度较大的工程，具体包括机房机架、设备调度、软件框架、算法调校这些中台建设，复杂场景下还需要游戏项目本身的配合。不具备自动化代码和测试数据分离的能力。
博客
摊牌了，这才是真实的字节跳动程序员工作！
07-27 308
博客
6位字节跳动资深技术人，给校招生的10个成长建议
07-20 335
但当时我只做 UGC 消费侧的工作，并不理解整体的业务视角，我写得相当痛苦，翻阅了大量的资料，拼拼凑凑，写得也不是很好。以创作者激励系统为例，会涉及到人群圈选、任务、预算、资金安全相关的系统，如果你对链路中的每个系统都比较了解，就能更好的去思考现有的业务系统在哪些技术方向上可能会有改善的机会。先了解你负责的这一块在整个业务中、在整个技术架构里处于什么位置、现有的业务系统架构的分层机制是怎样的，把上下游的事情都搞明白，把各自的目标和重点理清楚。当时的公司平台小，对做架构是不利的，所以我来到了字节。
博客
GitHub 2800颗星，支持GPT/Transformer，字节跳动这个开源项目是怎么来的？
06-14 3694
也可以在推理环节提升运行速度，让各类 AI 模型更快地产出效果，降低 AI 翻译、AI 生成文字等任务的耗时，更好地服务用户。具体来说，LightSeq 是一个模型训练推理引擎，就像一个炼丹炉，Transformer/GPT/BERT 这种以体积大、效果好、但运行更耗时的 AI 模型都可以扔进去炼一炼，帮助它们提速。王辉最近还在北京大学软件和微电子学院开设了一个学期的研究生课程，专门给北大的学生们介绍 AI 领域的进展，教他们 LightSeq 的使用方法。来听听他们是如何探索新技术的吧。
博客
Pilota：为什么一个代码生成工具如此复杂丨GOTC Rust系列分享
06-08 387
对于一个 Rust RPC 框架来说，根据 IDL 做代码生成是为了让用户更方便地使用框架。而生成代码的质量以及周边能力都会对用户的开发体验有着非常非常直接的影响。所以，字节跳动 CloudWeGo 开发了 Pilota 这样的一个框架，来为用户生成良好的代码。在 2023 年 5 月 28 日 举行的「GOTC 全球开源技术峰会 - Rust 论坛」上，字节跳动服务框架研发工程师刘翼飞介绍了 Pilota 这款代码生成工具，今天我们就为大家介绍这次分享的内容。
博客
节省90%编译时间，这是字节跳动开源的基于Rust的前端构建工具
06-08 990
近几年 Web 应用规模变得越来越大，一个中大型项目，可能有几万个模块，使用 Webpack 进行打包的话可能需要 5~10 分钟。尽管近几年有一些构建工具解决了 Webpack 构建速度慢的问题，比如 esbuild 和 vite，但是依然无法功能性上完全代替 Webpack。在这样背景下，我们决定使用 Rust 重新移植 Webpack，在尽可能不降低 Webpack 灵活性与丰富的功能的同时，尽可能的提高构建性能。简单介绍一下 Rspack 的架构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值