AI 浪淘沙 （week125-129）

国外

1.加州大学伯克利分校和 Google 研究院合作发布文章，推出 BoTNet，模型在ImageNet基准测试中具有84.7％top-1精度。

【标题】Bottleneck Transformers for Visual Recognition
【时间】2021-1-27
【来源】伯克利大学、Google 研究院
【链接】https://arxiv.org/abs/2101.11605
【内容摘要】
团队推出的 BoTNet 是一种功能但概念简单的架构，将自注意力纳入了多种计算机视觉任务，仅在 ResNet 三个瓶颈模块当中使用了全注意力替换空间卷积。该方法在市里分割和对象检测上取得了良好实现，改善了基线，减少了参数，同时具有低延迟成本的特点。在使用 Mask-CNN 框架情况下，BoTNet 在 COCO 实例分段基准上实现了 44.4% 的 MASK AP 和 49.7% 的 Box AP，超过了先前在 COCO 验证集上的模型结构。在 ImageNet 基准测试中，该设计具有 84.7% 精度的强大性能。

2.哈佛大学利用传感器和局部相互作用实现 3D 鱼群控制

【标题】Implicit coordination for 3D underwater collective behaviors in a fish-inspired robot swarm
【时间】2021-1-13
【来源】Florian Berlinger，Melvin Gauci， ProfileRadhika Nagpal
【链接】https://robotics.sciencemag.org/content/6/50/eabd8668?rss=1
【内容摘要】
鱼群可成千上万和谐地聚集游动，不管是迁移还是躲避捕食者，规避动态动作，都表现出令人印象深刻的集体行为。这种复杂的三维行为来自对邻近个体的观察，相比之下，许多水下机器人使用的是集中的水上通信，协调复杂度有限。本文仅使用产生和感测蓝光介导的隐式通信，展示了复杂而动态的三维聚集行为。

3.谷歌提出生命组织框架

【标题】SELF-ORGANIZING INTELLIGENT MATTER: A BLUEPRINT FOR AN AI GENERATING ALGORITHM
【时间】2021-1-14
【来源】DeepMind Karol Gregor, Frederic Besse
【链接】https://arxiv.org/pdf/2101.07627.pdf
【内容摘要】
来自 DeepMind 的研究者提出了一种人工生命框架，旨在促进智能生物出现，没有明确的代理概念，存在由原子元素组成的环境，这些元素包含神经操作，通过信息交换和环境进行类似物理的规则交互。

文章讨论了进化过程如何使得多原子元素组成新的生物体的机制，同时讨论如何构成通用AI 生成算法的基础。目前已经创建了系统的一个版本，总结了系统的核心属性，有包含神经网络的元素，这些元素可以交互、通信、形成更大单元，从而有效地实现更大的网络。这里有机体和机器之间没有区别，元素可以写入其他元素，可以复制，可以写入其他信息来创造有用的机器，或者创造出全新的机器。这些机器既可以创造新的“个体”也可以是新的大脑创造出更好的算法。

4.微软、加州大学莫塞德分校提出 ZoRO-Offload 可以在单个 GPU 训练 130 亿参数的深度学习模型

【标题】ZeRO-Offload: Democratizing Billion-Scale Model Training
【时间】2021-1-18
【来源】Jie Ren, Samyam Rajbhandari, Reza Yazdani Aminabadi, Olatunji Ruwase, Shuangyan Yang, Minjia Zhang, Dong Li, Yuxiong He
【链接】https://arxiv.org/pdf/2101.06840.pdf
【内容摘要】
大规模模型训练往往需要昂贵的 GPU 集群