喜欢打酱油的老鸟

「巨型 AI 模型时代即将终结」，当这句话最新出自 OpenAICEO Sam Altman 之口时，业界哗然。毕竟在过去一段时间中，因为 GPT-4 以及 ChatGPT 会话式 AI 的到来，引发 AIGC、大模型的狂欢潮，众人有目共睹。这也引得多家科技大厂、创业公司纷纷入局 AI 赛道，推出各种大模型应用与产品。现如今，在上周 MIT 视频发言中，Sam Altman 警告称：诞生 ChatGPT 的研究策略已经结束。目前尚不清楚未来会在哪些方面出现进展。

美国人工智能公司OpenAI的大语言模型ChatGPT在推出约两个月后，1月已达到1亿月活跃用户，成为历史上增长最快的消费者应用程序。相关专家预计，ChatGPT不仅是新一代聊天机器人的突破，也将为信息产业带来巨大变革，但由此带来的学术造假、技术滥用、舆论安全等风险亦不容忽视。

二是行业龙头企业纷纷发力并购且投资于AI行业软件领域的佼佼者，一方面扩充其数据和软件服务能力，为其自身业务的数字化智能化转型提供支撑，同时布局AI领域新业务，扩大其业务版图及在AI市场的影响力。，英国将“Al+国防”作为“全球人工智能超级大国”的重要组成部分，英国国防部在2022年6月发布《国防人工智能战略》[4]中提出将通过科学和技术获取国防战略优势，7月英国国防科技实验室宣布成立人工智能研究国防中心[5]，专注于与实现人工智能能力发展相关的基础问题，成果将惠及英国国防及更广泛的经济社会。

美国、欧盟签署人工智能合作协议，AI五大领域全面合作！全球首个人工智能合作协议来了！美国、欧盟签署「人工智能促进公共利益行政协议」，针对五大AI领域开展合作，构建互联网未来的新蓝图。从去年一推出就迅速大火的ChatGPT，到正在热映的《流浪地球2》中的超级AI MOSS，关于AI的话题不断登上关注热门。近日，在如何更好地开发和利用AI的原则问题上，美国和欧盟史上首次在五大领域内达成了一致。周五，美国和欧盟宣布了一项协议，在农业、医疗保健、应急响应、气候预测和电网等五大领域开发利用

上周三，OpenAI 发布了对话语言模型 ChatGPT，并开放了免费试用。据 OpenAI 的 CEO Sam Altman 称，在短短 5 天的时间里，ChatGPT 就有了 100 万用户，而之前的 GPT-3 花了将近 24 个月才达到这个用户量。

6月14日，旷视科技首席科学家孙剑博士不幸去世。我对孙博士的了解，仅限两点。 一是公司在科创板的招股书，由公司首席科学家、研究院院长孙剑领导的旷视研究院，拥有超过300 名 AI 算法研究人员。其研发出的 AI 生产力平台 Brain++，以及深度学习算法、计算机视觉算法和 AIoT 相关算法，为许多世界前沿人工智能应用奠定了基础；二是谷歌的阿尔法狗采用了“深度残差网络”（ResNet），而ResNet正是孙博士的杰作。孙博士的相关论文被引用高达28万次。旷视科技是美国清单企业，主要原因恰恰是AI科技太先进

"这不是无脑吹，也不是鸡汤。她让中国AI落地变得切实有解了。"AI泡沫破了吗？AI能落地了吗？AI不是PPT问题吗？AI终究只是梦一场？面对行外的人，每当卖萌酱说起自己是做AI的，都经常收到以上“灵魂拷问”。做AI的这几年里，卖萌酱也常常为AI技术的落地感到迷茫，有时甚至觉得无解。AI最应该落到哪里去？是互联网老牌业务搜推广吗？还是激进的新型业务比如自动驾驶？还是...传统行业？诚然，AI在互联网老牌业务上率先取得突破，提升了一众互联网企业的流量分发效率和商业营收；在自动驾驶这种新型业务

大家好，我是 Severus，一个在某厂做语言理解的老程序员。今年清明节，Google 搞了一点小动作，在 arxiv 上放出了自己的新工作，PaLM[1] （PaLM: Scaling Language Modeling with Pathways）。这是自去年，Jeff Dean 谈论下一代 AI，提出 Pathways[2] 架构之后，其第一次秀出了自己的成绩。既然秀肌肉的一件工作，我们不必怀疑，其在各大不同的基准任务上，能展现出什么样的非凡能力。论文发出之后，各家大V迅速跟进，各种解读铺天盖地，

图源 Pinkeyes on Shutterstock作者 | 钱磊、Ailleurs编辑 | 陈彩娴不久前，谷歌发布基于他们最新一代人工智能架构Pathways研发的 5400 亿参数大模型——PaLM，具备标记因果关系、上下文理解、推理、代码生成等等多项功能，其中常识推理能力更是较以往的语言模型有较大提升。但同时，大家也一如既往地注意到 PaLM 的计算成本：用了6144块TPU。如果租显卡训练，最高花费可能达到1700万美元（人民币超过1个亿，“一个小目标”）。显然，这很烧钱，不符

马斯克最新访谈：关于自动驾驶、AI和特斯拉人形机器人2022-04-25 14:32·AI科技评论近日，世界顶级富豪 Elon Musk 参加了由TED负责人Chris Anderson所主持的一次专访。在访谈中，马斯克谈及了他关于AI、自动驾驶、收购推特以及特斯拉之前发展历程的一些看法，以下为部分访谈内容的整理，主要与AI 自动驾驶、和特斯拉人形机器人的问题相关。1 关于AI和自动驾驶Anderson：“特斯拉的超级工厂内部真是太令人震撼了，我觉得我看到的并不是一家传统意义上生产电

作者 | 刘冰一、Ailleurs编辑 | 陈彩娴Mike Ferguson ，麻省理工学院大脑和认知科学系 (MIT BCS) 担任研究软件工程师/ML工程师。专门研究 Brain-Score（一种衡量类脑 AI 的工具）。他于 2021 年春季毕业于弗吉尼亚大学，获得计算机科学和应用数学学士学位，以及认知科学和哲学学士学位。图注：Mike Ferguson在本文中，Mike分享了在麻省理工学院人工智能实验室一年中学到的 5 件事，包括他生活、成功和知识的一些看法，希望你觉得有趣或有用

SOTA，State Of The Art，是一个AI界家喻户晓的说法。这个词意味着某个模型在某些具体任务中达到了“目前最佳水平”。许多AI研究都在追逐最先进的 (SOTA) 数字，而且有理由相信，未来还会有更多的论文以此为出发点。这个领域的大部分从业者对这种风潮已习以为常，但在AI学者Kenneth Ward Church看来，对SOTA的一味推崇并不全是“奖赏”，也是有相应代价的。在他与Valia Kordoni合著的文章Emerging Trends: SOTA-Chasing中，他们详细

它可以在单个 GPU 上训练超过 130 亿个参数的模型，与 PyTorch 等流行框架相比规模增加了 10 倍，而且它不需要数据科学家做任何模型更改，也不需要牺牲计算效率。资料来源：Jie Ren 等人在arxiv上的文章巨型模型的训练过程优化正成为 ML 领域的一大趋势。我们已经见识了谷歌的 Switch Transformers 和 OpenAI 的 GPT-3，现在是时候看看微软新出的 ZeRO-Offload 了。该模型[1]的设计重点在于通过新的优化技巧，将从 GPU.

吴恩达：未来十年，人工智能将向以数据为中心转变2022-05-07 10:19·InfoQ本文最初发布于IEEE Spectrum。吴恩达在人工智能领域可谓声名显赫。2000 年底，他与斯坦福大学的学生一起开创了使用图形处理单元（GPU）训练深度学习模型的先河，并在 2011 年共同创立了谷歌大脑，然后在百度担任了三年的首席科学家，帮助这家科技巨头创立了人工智能小组。因此，很多人都相信他所说的，人工智能将迎来下一个重大转变。本文是他某次接受 IEEE Spectrum 独家采访的内.

就离谱！一年前靠着一套算法营收30亿美元，一年后还是同样的算法，却造成资金大缺口，不得不裁员、变现手上资产。没想到，炒房平台用上AI算法，会这么刺激。是的，你没看错，这年头连AI都会炒房了，而且还是风生水起。在大洋彼岸甚至已经发展成了一个产业，不少公司都让AI来代替人工估价，以更快速从卖家手里收购房产。不过就在最近，其中一家估值超30亿美元的龙头公司受到了当头棒喝。要知道，他们的炒房平台网站每月用户访问量超2亿，今年第一季度就售出房屋1965套，往年成交量更是保持在4000套

编者按：近一年来，Transformer 在计算机视觉领域所带来的革命性提升，引起了学术界的广泛关注，有越来越多的研究人员投入其中。Transformer 的特点和优势是什么？为什么在计算机领域中 Transformer 可以频频出圈？让我们通过今天的文章来一探究竟吧！“统一性”是很多学科共同追求的目标，例如在物理学领域，科学家们追求的大统一，就是希望用单独一种理论来解释力与力之间的相互作用。人工智能领域自然也存在着关于“统一性”的目标。在深度学习的浪潮中，人工智能领域已经朝着统一性的目标前进了一大步。

编者按：文字、图片、语音、视频……我们的日常生活充满了不同模态的数据，涉及不同模态数据交互的任务也越发普遍。最近，微软亚洲研究院举办了一场多模态表征学习与应用研讨会，与来自亚太高校的多位学者深度探讨了多模态学习的现状与未来趋势。今天，我们生活在一个由大量不同模态内容（文本、图像、视频、音频、传感器数据、3D 等）构建而成的多媒体世界中，这些不同模态的内容在具体事件和应用中具有高度相关性。跨模态任务也越来越多，涉及多个模态的数据的交互，例如图像和视频的检索，字幕，视频摘要，文本到图像和视频的预测与合成

编者按：人工智能的发展不断改变着人类的生产和生活方式，而 AI 所迈出的每一步都来自于人类智慧的持续输出。协作将可以让我们不断扩大 AI 的边界，突破人机交互的局限。我们也将共同构建越来越强大的模型，让 AI 更好地理解世界，激发人类的创造力。新春伊始，我们梳理了计算机从初始语言学习开始，到模型，再到 AI 规模化的漫长之路。本文编译自微软博客文章 “The Next Generation AI”。你知道计算机是如何了解我们周围的世界，并由此拓展人们的能力、激发人类创造力的么？事实上，计算机非常擅长

编者按：“ ياخشىمۇ سىز、ᠲᠠ ᠰᠠᠢᠨ、سالەمەتسىڭبە 、ཁམས་བཟང་།”，你知道这句话里有几种语言，它们又是什么意思么？其实这只是我国少数民族语言的一部分，依次为维吾尔语、蒙古语、哈萨克语和藏语的“你好”之意。这类文字我们在旅行中也时常能见到，比如，故宫里就有不少牌匾上有汉文、满文和蒙文，只因大家看不懂，而常常被忽略。近日，微软翻译再添12种新语言和方言，其中就包括由微软亚洲研究院提供技术支持的维语、 蒙语、藏语、土库曼语、乌兹别克语等。目前，微软翻译共支持103种语言，让你轻松

元宇宙的火爆，让Facebook连名字都可以不要了，直接更名为“Meta”。对于这样一个“前沿风口”，谷歌前首席执行官埃里克·施密特(Eric Schmidt)近日也加入了对Facebook元宇宙的讨论浪潮中，并表达了对人工智能（AI）技术未来的担忧。施密特曾于2001-2011年担任谷歌的首席执行官，之后他一直担任谷歌执行董事长，直到2020年5月离任。他近日接受采访时表示，尽管他相信元宇宙技术很快就会“无处不在”，但他警告称，元宇宙“对人类社会并不一定是最好的东西”。“所有讨论元宇宙的人都在

创业者VS 投资人，一场围绕“局”展开的觉醒、背叛和冲突。作者 | 杨丽编辑 | 王亚峰1 “中国早期的VC圈像巨婴国”“国内早些时候的风投圈，像是一个巨婴国。”一位退隐江湖的知名投资人任天扬（化名）向雷锋网感慨道。这个圈子表面风光无限，剥开皮瓤都没熟透：缺少独立思想、模仿抄袭、乱搅行业、长不大……唯独靠时代红利，赚的盆满钵满。大家投移动互联网时，盛行的投资逻辑叫押赛道。何为押赛道？说好听些就是判断出前景不错的方向，投资大量公司，几十个矮子中成一将军，便可把风险对冲掉，还能获

编译 | 王晔校对 | 琰琰可解释性对人工智能发展来说至关重要，但在可解释系统的可信度方面，理解其可能带来的负面效应亦同等重要。近日，佐治亚理工学院研究团队发表最新研究，重点讨论了可解释人工智能系统（XAI）中一种重要却未被阐明的负面效应。论文地址：https://arxiv.org/pdf/2109.12480.pdf在这篇论文中，作者提出“可解释性陷阱（EPs）”的概念，指出即使设计者最初没有操控用户的意图，模型的可解释性也可能带来意料之外的负面影响，它不同于具有刻意欺...

目 录 1 Quality Evaluation for Image Retargeting With Instance Semantics 2 PFAN++: Bi-Directional Image-Text Retrieval With Position Focused Attention Network 3 Temporal Constraint Background-Awar...

本文要点我们看到越来越多的公司正在使用深度学习算法。因此，我们将深度学习从创新者转移到了早期采用者的类别中。与此相关的是，深度学习也面临着新的挑战，比如在边缘设备上部署算法以及非常大的模型的训练。 尽管采用的速度比较缓慢，但是现在有了更多的商用机器人平台。我们看到了在学术界之外的一些应用，但是相信未来会有更多未被发现的使用场景。 GPU 编程依然是一个很有前途的技术，但现在还没有得到充分的利用。除了深度学习之外，我们相信还有更多有趣的应用。 通过使用像 Kubernetes 这样的技术，在典型的计

9 月 10 日，美团称于近日收到了市场监管总局等部门关于算法的指导意见，邀请了不同相关方一起探讨配送时间的计算规则——通过骑手恳谈会收集意见，邀请外部专家学者讨论算法的调整方向和细节，并在部分城市进行了试点和用户调研。同时，美团首次公开外卖配送中的“预估到达时间”算法规则。根据美团的公开资料，其算法测算出的“预估到达时间”其实不是一个时间，而是四个时间，即“模型预估时间”和“三层保护时间”。考虑到模型预估时间与现实情况不符将导致骑手配送压力增加的情况，算法从城市特性、配送过程分段累加和距离三个维度

GPT-3 和任何人工智能都不会让编程”凋亡“，所以程序员不需要感到焦虑。OpenAI 于 2020 年 7 月发布了 GPT-3 的 beta API。此后不久，开发人员开始试用该系统并将其“炒作”得热火朝天，由此人们开始宣称 GPT-3 具有诸多强大的功能。该系统被称为是“有情感”的，能够“推理和理解”，甚至可以称作“通用智能”（general intelligence）。Frederik Bussler写了一篇在Towards Data Science上风靡一时的文章，他在讨论中提出了一个..

Iris 数据集的那些示例你是不是已经用腻了呢？不要误会我的意思，Iris 数据集作为入门用途来说是很不错的，但其实网络上还有很多有趣的公共数据集可以用来练习机器学习和深度学习。在这篇文章中，我会分享 23 个优秀的公共数据集，除了介绍数据集和数据示例外，我还会介绍这些数据集各自可以解决哪些问题。以下是这 23 个公共数据集：帕尔默企鹅数据集 共享单车需求数据集 葡萄酒分类数据集 波士顿住房数据集 电离层数据集 Fashion MNIST 数据集 猫与狗数据集 威斯康星州乳腺癌（诊断）

作者 | 武文浩Yann LeCun，现任 Facebook 副总裁兼首席 AI 科学家，纽约大学教授，曾在 Facebook 内领导开启了 AI 研究，并领导建设了纽约大学的数据科学中心。Yann 以其在上世纪八九十年代率先将卷积神经网络（CNNs）用于图片处理而闻名，被认为是对深度学习理论发展构成重大影响的人物之一，也由此获得了计算机领域最高奖项图灵奖。近日，斯坦福博士生Andrey Kurenkov与Yann LeCun进行了一次深度对话，主要涉及深度学习的发展历史、关键问题的解决...

边策 发自 凹非寺量子位 报道 | 公众号 QbitAI超大AI模型训练成本太高hold不住？连市值万亿的公司都开始寻求合作了。本周，英伟达与微软联合发布了5300亿参数的“威震天-图灵”（Megatron-Turing），成为迄今为止全球最大AI单体模型。仅仅在半个月前，国内的浪潮发布了2500亿参数的中文AI巨量模型“源1.0”。不到一个月的时间里，最大英文和中文AI单体模型的纪录分别被刷新。而值得注意的是：技术发展如此之快，“威震天-图灵”和“源1.0”还是没有达.

物理模拟为机器人打开了一扇进击的大门。作者 | 吴彤、杏花编辑 | 青暮喜大普奔！MuJoCo要开源！昨天，DeepMind发帖，称已经收购了用于机器人研发的MuJoCo物理引擎，目前正致力于开源MuJoCo，并打算在2022年对所有人免费开放！此次希望通过收购MuJoCo，推动全球各地的机器人研究工作。当开源系统完成后，MuJoco将搬到开源社区GitHub。拥有MuJoCo付费许可证的客户可以使用roboti。开源地址：https://github.com/deep...

在微软和英伟达的共同努力下， Turing NLG 17B 和 Megatron-LM 模型的继承者诞生了：5300 亿参数，天生强大，它的名字叫做「Megatron-Turing」。机器之心报道，编辑：蛋酱、小舟。刚刚，微软和英伟达联合推出了训练的「迄今为止最大、最强大的 AI 语言模型」：Megatron-Turing (MT-NLP)。从公开披露的角度来看，MT-NLP 应该是现存最大的公共模型。作为两家公司 Turing NLG 17B 和 Megatron-LM 模型的继承者，

编译 | 杏花编辑 | 青暮对于某些任务，人工智能系统已经取得足够好的表现，可以部署在我们的道路和家里。比如，物体识别可以帮助汽车识别道路；语音识别则有助于个性化语音助手（如Siri和Alexa）交流。对于其他任务，人工智能系统的表现甚至超过了人类，AlphaGo 就是第一个击败世界最强围棋选手的计算机程序。人工智能的前景广阔。它们将开我们的车，它们将帮助医生更准确地诊断疾病，它们将帮助法官做出更加一致的法庭裁决，它们将帮助雇主聘用更合适的求职者。然而，我们也知道这些人工智能系统可能是不..

晓查 梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI一个比GPT-3还大的AI模型，如果把近5年中文互联网能爬取到的内容看了个遍，会怎么样？能学会日语。我们把日语词汇“气持”的中文含义告诉它，它能熟练运用“气持”造句。也许你没见过“气持”这个词，但你大概听过它的发音“kimochi”（手动狗头） 新词 输入-语义 生成文本 气持 “气持”是心情、精神状态的意思。例：“那种消.

作者 | 琰琰战鼓催征千嶂寒，阴阳交会九皋盘。飞军万里浮云外，铁骑丛中明月边。看到这首诗歌，有超过50%的人误以为是人类的杰作但其实，它出自巨量模型 源1.0经过图灵测试认证，源1.0 写诗歌、写对联、生成新闻、续写小说的能力已经让人类的平均误判率达到了50.84%。（超过30%即具备人类智能）9月28日，浪潮人工智能研究院正式发布全球最大中文预训练语言模型“源1.0”。历时四个月研发，源1.0参数量已达2457亿，约GPT-3的1.4倍。中国工程院院士、浪潮首席...

编译 | 琰琰大规模深度神经网络训练仍是一项艰巨的挑战，因为动辄百亿、千亿参数量的语言模型，需要更多的 GPU 内存和时间周期。这篇文章从如何多GPU训练大模型的角度，回顾了现有的并行训练范式，以及主流的模型架构和内存优化设计方法。本文作者Lilian Weng现为OpenAI应用人工智能研究负责人，主要从事机器学习、深度学习和网络科学研究 。她本科毕业于香港大学，硕士就读于北京大学信息系统与计算机科学系，之后前往印度安纳大学布鲁顿分校攻读博士。Lilian Weng经常在个人博客分享...

作者 | Hamish Ogilvy编译 | 冉启行校对 | 青暮人工智能是建立在向量算法的基础上的，但最新的进展表明，对于某些 AI 应用程序而言，它们可以使用其他二进制来表示（例如神经哈希），以提供更小的内存占用和更快的反馈速度。事实上，人工智能的许多领域都可以从向量变为基于哈希的结构，带来飞跃的提升。本文将简要介绍哈希背后的应用逻辑，以及它为什么可能会成为 AI 的未来。1 哈希哈希函数(Hash function)：一个哈希函数H(x)可用于将任意大小的数据 x 映射...

采访人 | 林宙辰，北京大学教授撰文 | 熊宇轩编校 | 贾 伟在知乎上有人提问：如何评价北京大学林宙辰老师？高赞答曰：功底深厚，难以望其项背。这表现在几个方面—— 从外界普遍的标准来看，自2000年至今，他的论文引用量已经高达2w+；同时也是IEEE、IAPR双料 Fellow，在 2015 年 ImageNet 大规模视觉识别竞赛中斩获桂冠。 另一方面，他作为北京大学数学系毕业的博士生，具有深厚的数学功底。相较于多数机器学习领域的研究者来说，他会更倾向于寻求性...

蓝振忠，西湖大学助理教授报告 | 蓝振忠撰文 | 沈磊贤我的报告主题为《预训练语言模型的前沿发展趋势》，主要从以下三个方面展开：1、为什么全网络预训练模型如此重要？2、为什么语言预训练模型诞生得如此之迟？3、如何预训练一个有效的模型？1 为什么如此重要？全网络预训练模型目前在各个NLP项目中具有重要地位，之所以如此，是因为全网络的预训练相当于共享了大部分预训任务和下游任务的参数，跟以前的word2vector有明显的不同。图1 预训练语言模型为NLP打开新局面...

作者 | 刘海涛编辑 | 李雨晨狡兔死走狗烹，强如谷歌也征服不了DeepMind。尽管已经一起走过了7年，但DeepMind与老东家谷歌的不和，早已成为圈里公开的秘密。多名DeepMind前任和现任员工都曾表示：“DeepMind一直觉得它的业务被出售给了不信任的人，担心谷歌有朝一日可能会滥用其技术。多年来，高管们一直努力使这家人工智能公司与其所有者保持距离。”而两者的这种“不和”，在DeepMind取得蛋白质预测成绩，树立更大的技术全球性影响力之后，也进一步加剧。近日，据《...

作者 | 吴彤编辑 | 青暮让机器理解人类的语言是我们长期以来的梦想，经过几十年的发展，语言与智能技术发展到了什么程度？如何评价语言理解的智能水平？离强人工智能还有多远距离？未来的技术发展趋势如何？这些问题迫切值得研究与探讨。中国计算机学会和中国中文信息学会联合创办了"语言与智能高峰论坛"，每年举行一次，首届论坛于2016年在北京举行，已成功举办五届。在今年8月28日的线上高峰论坛上，北京大学吴玺宏向大家分享了大规模训练语言模型的个人见解，随后具体阐释了基于发声物理模型的语音发声姿态的自..