【20210115期AI简报】EdgeBERT：极限压缩，比ALBERT再轻13倍！树莓派上跑BERT的日子要来了？...

导读：本期为 AI 简报 20210115期，将为您带来 9 条相关新闻，有趣有料多闻~

本文一共 3500 字，通篇阅读结束需要 7~12 分钟

1. EdgeBERT：极限压缩，比ALBERT再轻13倍！树莓派上跑BERT的日子要来了？

这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的 GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。对于 NLPer 来说，这种 “小工程” 最迫在眉睫的施展对象非 BERT 莫属。

从 18 年那个 109M 参数的 BERT，到 52M 参数的蒸馏后的 DistilBERT，再到 14.5M 参数的蒸馏更多层的 TinyBERT，最后到 12M 参数的层级共享的 ALBERT，曾经那个在集群上加载参数都费劲的 BERT 现在甚至已经可以跑在手机平台上了。当我们为 BERT 的轻量化欢呼雀跃之时，有这样一群人站了出来——只是手机端可不够！

他们的理想，是让 BERT 跑在物联网设备上，跑在低功耗芯片上，跑在我们能触及的每一个电子器件上！

这样一群来自哈佛 / 塔夫茨 / HuggingFace / 康奈尔的软件和硬件极客们，此刻已披上了法袍，化身为为 BERT 极限瘦身的炼金术士，向着这个看似不可能的目标添加着许多让人意想不到的配方…

• 论文题目：EdgeBERT: Optimizing On-Chip Inference for Multi-Task NLP

• 论文链接：

         https://arxiv.org/pdf/2011.14203.pdf

2. 用AI「驯服」人类幼崽：这个奶爸找到了硬核带娃的乐趣

为了能安心看几集 Netflix 剧，技术宅奶爸都做了些什么……

长期以来，「奶爸」+「萌娃」一直是一个不被看好的组合，甚至有人说，「