导读:本期为 AI 简报 20210115期,将为您带来 9 条相关新闻,有趣有料多闻~
本文一共 3500 字,通篇阅读结束需要 7~12 分钟
1. EdgeBERT:极限压缩,比ALBERT再轻13倍!树莓派上跑BERT的日子要来了?
这个世界上有两种极具难度的工程:第一种是把很平常的东西做到最大,例如把语言模型扩大成能够写诗写文写代码的 GPT-3;而另一种恰恰相反,是把很平常的东西做到最小。对于 NLPer 来说,这种 “小工程” 最迫在眉睫的施展对象非 BERT 莫属。
从 18 年那个 109M 参数的 BERT,到 52M 参数的蒸馏后的 DistilBERT,再到 14.5M 参数的蒸馏更多层的 TinyBERT,最后到 12M 参数的层级共享的 ALBERT,曾经那个在集群上加载参数都费劲的 BERT 现在甚至已经可以跑在手机平台上了。当我们为 BERT 的轻量化欢呼雀跃之时,有这样一群人站了出来——只是手机端可不够!
他们的理想,是让 BERT 跑在物联网设备上,跑在低功耗芯片上,跑在我们能触及的每一个电子器件上!
这样一群来自哈佛 / 塔夫茨 / HuggingFace / 康奈尔的软件和硬件极客们,此刻已披上了法袍,化身为为 BERT 极限瘦身的炼金术士,向着这个看似不可能的目标添加着许多让人意想不到的配方…
论文题目:EdgeBERT: Optimizing On-Chip Inference for Multi-Task NLP
论文链接:
https://arxiv.org/pdf/2011.14203.pdf
2. 用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣
为了能安心看几集 Netflix 剧,技术宅奶爸都做了些什么……
长期以来,「奶爸」+「萌娃」一直是一个不被看好的组合,甚至有人说,「