AI 浪淘沙 week（118-122）

国外

1. Jeff Dean 发布长篇研究摘要总结不寻常的2020，展望2021

【时间】2020-1-18
【来源】Google Research Jeff Dean
【链接】https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html
【内容摘要】
谷歌研究员、高级副总裁 Jeff Dean 代表 Google　research　社区发布长文，回顾 2020 展望2021 .介绍了下面的主题，参考出版物多达800 多个。主要议题有： - COVID-19与健康 // AutoML //医学诊断学ML//更好地了解ML算法和模型//天气，环境与气候变化//算法基础和理论//辅助功能//机器感知//ML在其他领域的应用//机器人技术//负责任的AI //量子计算//自然语言理解//支持开发人员和研究人员//语言翻译//打开数据集和数据集搜索//机器学习算法//研究社区互动//强化学习//展望2021年及以后

2. 图灵奖得主、“贝叶斯网络之父”Judea Pearl 和阿尔托大学计算机科学系副教授Aki Vehtari 发文讨论《50年来 最重要的统计学观点是什么？》

【时间】2021-1-17
【来源】Judea Pearl
【链接】https://arxiv.org/pdf/2012.00174.pdf
【内容摘要】
作者根据研究和文献阅读经验总结出了过去半个世纪以来最重要的8个统计观点，并表示：“它们是独立的概念，涵盖了统计方面不同的发展。这些思想都在1970年前的理论统计文献和各个应用领域的实践中就已经出现。但是在过去的五十年中，它们各自已经发展到足以成为新事物的程度。”
文章中表示最重要的 8 个统计学观点是：反事实因果推理、自助法和基于模拟的推理、超参数化模型和正则化、多层模型，泛型计算算法（generic computation algorithms），自适应决策分析，鲁棒推理和探索性数据分析 .
同时对于这些观点的共性和区别进行了分析，重点聚焦在大数据、计算优势、对于方法和工作流的影响、理论驱动和外延应用等等。另外对于这些观点分别进行了几十年期间内的回顾和展望。

3. EleutherAI 发布复刻版 GPT-3 模型代码库 GPT-neo 预计将赶上GPT-3尺寸

【时间】2021-1
【来源】eleuther 团队
【链接】https://www.eleuther.ai/gpt-neo
【内容摘要】
此前 OpenAI 发布了 GPT-3 这个庞然大物，具有 150 亿参数的语言模型，后来仅仅开放 API 供大家使用，同时表示和微软签订了独家授权，受到各种诟病。EleutherAI 团队最初计划仿制一个 GPT-2，在验证了可行性之后，建立了一个 800 多G 的语料库，并建立了 GPT-neo 这个语言模型代码库，预计能够超过 GPT-3 语言模型的尺寸。运行语言模型代码可以 TPU\GPU 等支持运行。用户可以访问项目GitHub 页面进行训练试用。目前该项目的部分配置还没有配置完全，目前还在筹备算力当中。