字节跳动开源GAN模型压缩框架，算力最高节省97.8%丨ICCV 2021

于 2021-09-16 18:32:52 发布
阅读量770 收藏 12
点赞数 2
文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47098359/article/details/120333809
版权
字节跳动在ICCV 2021上发布在线多粒度蒸馏算法OMGD，用于压缩GAN模型，最高可节省97.8%的计算量。OMGD通过两个互补教师模型优化学生模型，已在抖音等产品落地，提升用户体验。
摘要由CSDN通过智能技术生成

把鞋子的轮廓图：

图片

还原成鞋子本体：

图片

需要消耗多少计算量？

用最基本的 Pix2Pix 模型，需要消耗 56.8G；

而当 Pix2Pix 模型被一种新技术压缩后，只需要 1.219G，是原来的 1/46.6，大大节省了计算量。

这里用到的技术，就是字节跳动技术团队在计算机视觉顶会 ICCV 2021 上发表的在线多粒度蒸馏算法（Online Multi-Granularity Distillation，简称OMGD）。

图片

这种模型压缩框架，专治 GAN 模型体积过大、太费算力，目前已经开源了代码（地址在文末）， 以及 CycleGAN 与 Pix2Pix 的预训练模型，

最低0.47元/天 解锁文章
字节跳动技术范儿
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
博客
Github获8k Star！入选苹果CoreML模型库的Depth Anything是怎么做出来的？
07-10 207
字节跳动大模型团队成果 Depth Anything V2 现已被苹果官方收入 Core ML 模型库。本文介绍了Depth Anything 系列成果的研发历程、技术挑战与解决方法，分享了团队对于 Scaling Laws 在单一视觉任务方面的思考。值得一提的是，Depth Anything V1 与 V2 两个版本论文一作是团队实习生。近日，字节跳动大模型团队开发的成果 Depth Anyt...
博客
作为校招新人，他们如何在字节跳动做 AI 研究并中选 ICLR 的？
05-11 784
校招生和实习生在字节跳动，工作一年就中选 ICLR 2024 ，这是怎样一种体验？就在 5 月 7 日至 5 月 11 日，2024 年度国际表征学习大会 ICLR 2024 在奥地利维亚纳举办。该活动是深度学习领域最重要的学术活动之一，由深度学习三巨头之二的 Yann LeCun 与 Yoshua Bengio 发起。今年 ICLR ，共有 7262 篇论文提交，整体接收率约为 31% ，中选文...
博客
登上顶会 ICML 的字节跳动多模态成果，到底是怎样实现的？
01-23 454
如果你打开今日头条，在无障碍模式下双击大图，就能发现图片能被“翻译”成流畅的文字语句。这项“隐藏很深”的技术名叫X-VLM，是一种多模态方法，它的另一个版本名叫X^2-VLM，均来自ByteDance Research团队，可实现图片描述、图文检索、图文理解、视觉问答等功能。相关论文登上顶会 ICML ，另一版论文也在 TPAMI 上发表。该研究的一作是 95 后校招生妍妍，X-VLM 发...
博客
朝夕光年「红砖」搭建平台架构设计和应用落地
11-16 165
它将活动逻辑抽象为一些原子概念，并在此基础上，封装出组件和模板功能。我们可以在平台上对各类原子数据、操作做单独管理（道具/条件/动作等），通过数据 Mock、时间穿梭等工具模拟用户登录、玩家等级、抽奖结果，我们还在平台上聚合了集成&发布工具，用于进一步提升活动发布效率及质量保证，另外还集成了各类线上运维监控平台，做到对线上数据一目了然。在游戏产品的生命周期中，游戏运营需要实现各类营销活动，通过 Native 和 H5 页面，投放到游戏端内和各种社交媒体，实现“拉新，促活，回流，付费”等核心目标。
博客
“抖音”命名是靠它？解码字节跳动如何做A/B测试
11-09 127
“跑个 A/B 试试？”在字节跳动，你可能经常会听到这句话。实际上，这是字节跳动的一种基础工具 —— A/B 测试，让我们借助大数据的手段，从多种不同的方案中，找到用户正向反馈好的一个。简单来讲，A/B 测试类似一种对照实验，在一定程度上控制变量，然后根据用户的反馈数据，来判断哪种方案是更合适的。就好像你包了一些粽子，然后把甜粽子送给一群朋友，把咸粽子送给另一群朋友，看看他们反应，据此来判断以后端...
博客
朝夕光年游戏高光全套解决方案
11-03 291
以上方案的结合使得各个档位的手机都能在获得最佳的游戏体验的同时享受高光视频自动录制。，为了满足包体积增量的最小化和高性能的要求，在素材规格可控的情况下，我们没有引进软编解码器，而是利用 Android、iOS 平台的编解码 API 来实现硬编/解，这样的实现方式充分利用了手机的硬件能力，提高了素材的处理速度。以上就是今天的分享，希望屏幕前的同学们阅读完本篇文章有所收获，最后欢迎更多热爱游戏与技术的同学们一起加入致力于帮助玩家在令人惊叹的虚拟世界中，一起玩耍与创造的朝夕光年，一起通过朝夕努力，创造游戏光年！
博客
第三届字节跳动奖学金官宣开奖，13位优秀科研学子每人获10万奖学金
10-31 319
他在这些领域的研究中取得了多项重要成果，相关工作发表在了 NSDI、SIGCOMM、OSDI 等顶级网络系统会议，如高速网络方面的 SRNIC（NSDI’23，高性能的、可拓展的RDMA网卡）、Tiara（NSDI‘22，可拓展的、高效的数据中心网关系统）、Aeolus（SIGCOMM’20，最优化数据中心主动传输协议）以及领域专用加速器方面的 FAERY（OSDI‘22，首个推荐召回加速器）。音视频 TranSpeech 则用视觉信息补充音频流，以提高系统的稳健性，开辟了口述、为档案电影配音的应用前景；
博客
第三届字节跳动奖学金官宣开奖，13位优秀科研学子每人获10万奖学金
10-26 215
最近，第三届字节跳动奖学金正式公布了获奖者名单。经过字节跳动技术专家团队层层评审，本届字节跳动奖学金共有来自北京大学、复旦大学、清华大学、上海交通大学、香港科技大学、浙江大学、中国科学技术大学（按拼音首字母排序）的 13 位优秀博士生/硕士生获奖，每人荣获 10 万元奖学金。他们的研究方向分布于深度学习、高性能网络、数据库系统、分子生成、视频编码等多个计算机技术相关领域，完成了许多高质量科研项目。...
博客
字节跳动程序员，如何在工作中优雅地使用表情包？
10-24 328
一 言 不 合 就 斗 图。没错，字节跳动活泼的研发同学们，就是喜欢这样搞 —— 尤其是把表情包发给 PM、测试、上下游。不管是遇上了 bug、被拉了 oncall、还是发现代码不 work，每个场景都能整出表情包来。只能说，他们不仅激发创造第一名，整活儿也是第一名。所以趁着这个 1024 程序员节的机会，技术范儿找到字节跳动的研发同学们，骗了一大波表情包。2024 校招投递还有 7 天就要结束啦...
博客
2023 届的字节跳动技术新人，个个都是宝藏同学
09-22 399
光是有能量的，用光照射一个物体，物体会受到力。为了学会并实践这些复杂的技术，崔达林常常泡在实验室里饱和式研发，从早上 6 点干到晚上 11 点，每次晚上回宿舍时，宿管总是露出无奈的表情——“又是这个永远都不会按时回来的家伙”。因为要让机器人上墙，重量有限制，从高能电池选型，到搜寻轻快的外壳，他找老妈要了一万多元的资金去选购材料，“后来学校报销了之后，我也没把钱还给我妈。一个物体的温度越低，它的量子特性就越高，所以，当云欲暝所在的实验室团队需要研究一些物质的物理性质时，必须让原子达到极低的温度。
博客
2023 届的字节跳动技术新人，个个都是宝藏同学
09-21 437
你一定问过这个问题：「简历上写什么，才能在校招里脱颖而出？」我们也好奇过这个问题：「新来的技术校招生，到底还有多少宝藏是我不知道的？」没错，字节跳动的技术团队每年都会迎来许多宝藏校招生：有人把开源项目做到风生水起；有人在各类技术比赛里拿下优异的成绩；有人经历了亮眼的科学研究；……他们的成长历程，都散发着无尽的创造力。今天，一起来看看 2023 届的技术校招生们，都曾有过哪些有意思的创造吧。骛宇的专...
博客
实不相瞒，字节跳动的大模型、推荐、特效算法……都是在这里跑出来的
09-11 480
在字节跳动，机器学习算法被应用在许许多多不同的场景：在今日头条里，你被推荐的文章；在抖音里，你用到的那些活灵活现的视频特效；在飞书里，把你说的话转化为文字的功能；在前不久公测的 AI 对话产品「豆包」里，AI 给你生成的文本段落；……这些算法模型，是怎样生产出来的？或许你会回答：“收集数据，找预训练模型，在 GPU 上训练，然后各种微调……”但当我们有很多位算法工程师、要训练许许多多模型、使用很多...
博客
字节跳动技术面试官，帮你考前划重点，还有面试真题哦
09-01 183
● 如果遇到你一时想不明白的问题，希望你能根据自己的知识经验积累、理解分析能力，讲出对这个问题的思考。● 可以适当提问，提问也是面试互动的重要部分，如果你能提一些有建设性、有思考的问题，面试官可能会对你另眼相看。● 请记得把你的能力落到代码上，在代码/算法题环节，除了描述自己的思路，也请将你的思路转化为你熟悉的编程语言。● 针对一个很小的问题，你可以讲讲自己的理解，以及行业内有哪些解法，不同的业务场景应该怎么权衡。● 请把你做得最棒的项目放在简历上，展示出项目中你自己的想法，以及把它实现的过程。
博客
字节跳动技术面试官，帮你考前划重点，还有面试真题哦
08-31 130
你的秋招进展如何？字节跳动 2024 校园招聘正在如火如荼地进行中，为了给技术岗的同学加油打气，技术范儿今日特别请来了算法、大数据、后端、音视频、前端、Android、iOS 七个方向的技术面试官，为大家考前划重点。不仅有重点知识和复习资料，甚至还有面试真题。另外，面试官们从多年面试经验中总结出的面试准备技巧你也可以参考哦~编程能力要过关：●掌握常见的算法解决思路（分治、递归、双指针等）●复习...
博客
朝夕光年游戏自动化测试实践
08-30 604
经过这几年的测试实践，目前自动化在兼容性测试、稳定性测试、性能测试、多语言本地化测试、功能回归的部分需求中都有应用，此篇将聚焦分享朝夕光年在自动化能力分解、自动化能力评估、自动化的成熟度、自动化测试全景等四个方面的实践，期望能为行业内开展自动化工作提供思路以及给到对游戏行业/游戏自动化测试方向感兴趣的同学们一些启发。在游戏的研发过程中，游戏自动化一直是开展难度较大的工程，具体包括机房机架、设备调度、软件框架、算法调校这些中台建设，复杂场景下还需要游戏项目本身的配合。不具备自动化代码和测试数据分离的能力。
博客
摊牌了，这才是真实的字节跳动程序员工作！
07-27 224
博客
6位字节跳动资深技术人，给校招生的10个成长建议
07-20 179
但当时我只做 UGC 消费侧的工作，并不理解整体的业务视角，我写得相当痛苦，翻阅了大量的资料，拼拼凑凑，写得也不是很好。以创作者激励系统为例，会涉及到人群圈选、任务、预算、资金安全相关的系统，如果你对链路中的每个系统都比较了解，就能更好的去思考现有的业务系统在哪些技术方向上可能会有改善的机会。先了解你负责的这一块在整个业务中、在整个技术架构里处于什么位置、现有的业务系统架构的分层机制是怎样的，把上下游的事情都搞明白，把各自的目标和重点理清楚。当时的公司平台小，对做架构是不利的，所以我来到了字节。
博客
GitHub 2800颗星，支持GPT/Transformer，字节跳动这个开源项目是怎么来的？
06-14 3564
也可以在推理环节提升运行速度，让各类 AI 模型更快地产出效果，降低 AI 翻译、AI 生成文字等任务的耗时，更好地服务用户。具体来说，LightSeq 是一个模型训练推理引擎，就像一个炼丹炉，Transformer/GPT/BERT 这种以体积大、效果好、但运行更耗时的 AI 模型都可以扔进去炼一炼，帮助它们提速。王辉最近还在北京大学软件和微电子学院开设了一个学期的研究生课程，专门给北大的学生们介绍 AI 领域的进展，教他们 LightSeq 的使用方法。来听听他们是如何探索新技术的吧。
博客
Pilota：为什么一个代码生成工具如此复杂丨GOTC Rust系列分享
06-08 289
对于一个 Rust RPC 框架来说，根据 IDL 做代码生成是为了让用户更方便地使用框架。而生成代码的质量以及周边能力都会对用户的开发体验有着非常非常直接的影响。所以，字节跳动 CloudWeGo 开发了 Pilota 这样的一个框架，来为用户生成良好的代码。在 2023 年 5 月 28 日 举行的「GOTC 全球开源技术峰会 - Rust 论坛」上，字节跳动服务框架研发工程师刘翼飞介绍了 Pilota 这款代码生成工具，今天我们就为大家介绍这次分享的内容。
博客
节省90%编译时间，这是字节跳动开源的基于Rust的前端构建工具
06-08 807
近几年 Web 应用规模变得越来越大，一个中大型项目，可能有几万个模块，使用 Webpack 进行打包的话可能需要 5~10 分钟。尽管近几年有一些构建工具解决了 Webpack 构建速度慢的问题，比如 esbuild 和 vite，但是依然无法功能性上完全代替 Webpack。在这样背景下，我们决定使用 Rust 重新移植 Webpack，在尽可能不降低 Webpack 灵活性与丰富的功能的同时，尽可能的提高构建性能。简单介绍一下 Rspack 的架构。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值