牛津大学人类未来研究所：万字长文谈AI新职场方向-政策研究

大数据文摘作品

编译：Happen、Chloe、田奥、糖竹子、及子龙、林海、Aileen

最近两年，虽然AI这个词语充斥在人类的媒体和生活中，但实际上AI技术的发展才刚刚起步，目前AI能做的事情还非常初级。黑暗森林法则里的“技术大爆炸”不知道何时会突然到来，各种法律、伦理和人性都会受到前所未有的挑战。本文的团队认为未雨绸缪，在那个时代到来之前做好准备，现在开始制定最完善＂AI政策 ” 也许是对世界最有贡献的事情之一。

这是一篇来自牛津大学人类未来研究所的万字长文，由专注于研究AI政策的 Miles Brundage撰写，并获得八万小时（80,000 Hours，大学研究机构）团队和其他人员的帮助，希望给愿意从事”AI政策”行业的人们一些指导和方向。

为什么要写这些？

现在能够改善世界的最具影响力事情，可能就是积极推动人工智能的发展了。在过去短短几年中，从事AI技术研究的人数急剧增长，他们致力于解决如何安全地规划人工智能，因此我们为正考虑从事这项工作的人提供这本指南。

还有一个很重要却很有可能被忽视的话题：AI政策和战略的改进。这包括了许多问题，比如：

• 我们怎样才能避免为了发展强大的AI系统而开展危险的军备竞赛？

• 先进的AI系统带来的好处如何才能广泛分配？

• AI研究开放程度可以多大？

我们估计，目前从事AI行业的人中，仅有不到10%特别关注未来开发出的高性能AI系统所产生的种种问题。越来越多的工作集中在更短期的问题上，如无人驾驶汽车政策和无人驾驶飞机政策。

我们迫切需要解决AI政策与战略相关问题，这是因为：

1.实施解决方案耗时长；

2.在AI还不够先进且这个话题涉及到较少的意见、利益的当下，有些问题会得到更好地解决；

3.我们不知道何时能开发出AI一些特定技能，无法排除突然技术大爆炸的可能性。

因此，对于合适的人来说，努力去解决这些问题，是为当今世界作出贡献的并且最有前途的职业之一。

“AI政策”职业是什么？

“AI政策”是关于AI的社会决策制定的分析和实践（注意，广义上，我们说“社会”而不是政府，因为许多决策制定者都参与制定“政策”）。“AI策略”这个术语有时指的是研究“AI政策”的大局问题，例如：我们希望AI技术应该小范围传播还是广泛传播、那些研究问题应该优先考虑。接下来，我们将介绍“长期AI政策”底下的几个战略问题。文章结尾处的参考文献很好地介绍了AI政策及AI战略协议下的一些问题。

短期与长期问题

AI政策分为短期政策和长期政策。

短期AI政策侧重于当前社会需要解决的问题。这些问题包括无人驾驶汽车的责任问题、相对小规模的工人下岗问题、算法偏差以及越来越多的自动监控。

长期AI政策侧重于在未来的AI比今天更为先进的情况下，出现影响整体甚至更大程度的问题，尤其当AI快速发展的时候。这将产生非常持久的后果，例如与人类智力相当或超智能AI带来的AI安全风险或与不稳定性。

短期和长期政策之间的这种区别并不是一成不变的：比如，如果我们把高级AI出现的时间估计得过长，那么，最终本文提及的长期问题，就很有可能出现得比许多人的预期要早。事实上，AI专家们对高级AI出现时间的估计确实存在着较大的差异。也许，与安全问题相比，AI中最严重的经济问题可能需要更长的时间才能出现。

但是，短期或长期问题的划分是很有用的粗浅分类，它反映了普遍存在的观点，即认为与人力智力相当或者超智能AI不可能在短期内出现，然而，一旦它出现了，它将产生变革性、持久的社会影响。

大多数与短期“狭义AI”系统有关的政策，都不大可能对它们本身产生极其持久的影响，但是研究这些问题可能有助于获得经验，以便在长期的更强大AI系统的政策问题上开展工作，一些相同的政策框架和工具也适用于两者。另一方面，从长远来看，上文所提到的长期政策与战略比起短息的策略更加重要得多，尤其是当AI系统开发进展迅速时，就更可能如此。

AI政策中需要回答的具体问题

在研究AI政策时，为了让你对于各种问题有所了解，请考虑以下问题。

AI系统可能发展出什么能力？

如果未来的AI系统将拥有哪些能力，会造成哪些社会后果？例如，如果AI系统能够…将发生什么？比如：

• 分析物理论文并提出新的实验？

• 在其他领域做同样的事情，包括AI开发？

• 分析社会科学论文、互联网内容和/或监测数据，对于不同情况下的人类行为作出预测？

• 为了说服特定人群相信某些特定观点而生成语言及图片？

• 分析各种领域和来源的文献，以生成新材料、技术或软件？

• 有计划划的进行以上这些事情？

计算机安全意味着什么？

• 拥有比人类更多的技能，能够低成本、高效并可靠地找到电脑系统的漏洞，这种AI系统可能性有多大？哪种指标能够在这方面提供最新消息？

• 国家或非国家行动者应采取哪些措施来防止这种情况发生，并/或减轻潜在的负面影响？

• AI系统是否能够在提高抵御黑客攻击能力方面提供帮助？与此同时，AI能否协助开展黑客攻击？在某种程度上，黑客与拥有敏感数据的机构之间存在“计算军备竞赛”，是否应该给后者提供补贴或监管，以增加他们现有的计算资源？

自动武器会带来什么影响？

• 在近期、中期以及长期中应该发展哪种自动武器？哪种指标能够在这方面提供最新消息？

• 不同种类的自动武器可以有哪些应用？例如，哪种自动武器可能应用到空中支援、巷战、侦察、监视被占领土、暗杀或其他秘密行动上？

• 考虑到自动武器的种类和应用，它对世界和平与安全有哪些影响？

• 拥有能力更强的自动武器将有哪些潜在优势（更高的精确度、更少的人员死亡、减少对人类士兵的需求）与潜在劣势（更容易发生战争、潜在的地缘不稳定性，例如军备竞争、意外风险、滥用）？

• 相对廉价的自动武器开发，是否有可能导致私人更容易获得武器，并更具有破坏性？为了防止这种可能性，应该采取哪些监管措施，何时实施比较合适？AI发展的哪些指标表明了这种行动的正当性？

• 从其他新武器技术（例如核武器、化学武器、地雷）的发展以及国际监管的回应中，我们能够吸取哪些相关经验教训？

• 在限制或停止自动武器的开发与部署方面，存在哪些可行的途径？限制开发的做法是否一直可取？推动其地下开发或者转移给不那么负社会责任的政党，是否风险太大？

如何确保广义AI系统的安全部署？

一个在广泛领域中具有创造性的长期推理能力的AI系统的行为是很难被预测的。一旦这种强大的AI在行动时有目标偏差，结果可能将会造成全球灾难性风险。

即使AI系统与用户追求一致，运行一个有明确目标的AI系统仍旧可能导致非法行为，这对于没有仔细检查系统的人来说是难以预料的——甚至那些做过检查了的人。例如，一个目标为“赚钱”的AI系统可能会为了这个目标而触犯法律，尽管在系统开发与测试阶段，发生这种情况的迹象可能不明显。

介于上述考虑，开发和部署这种具有潜在危险性的系统，就合作和冲突产生了一些重要的问题，例如：

• 在开发和部署安全AI时，如何激发相关角色之间的合作精神？

• 基于博弈论的国际竞争与合作如何形成与分析？

•相关的多方机构之间就构成部署AI系统潜在风险的因素达成预先协议是否有帮助，在哪种条件下这种部署是合法的？

• 多方机构之间的哪种协议具有强制性？

你立志成为什么角色？

问自己一个关键问题：你认为在哪里你对那些最重要的AI政策问题拥有最大的影响力。粗略概括为四种主要角色：直接研究、在政府和企业内工作、宣传及协助招聘。

你可能对研究AI政策有兴趣：分析AI短期和长期的战略考虑，评估提出的解决方案，并给出新的方案建议。或者你有兴趣在政府工作——从各个利益相关方收集信息，与政府其他部门同事商议哪些方案可行，再直接实行方案。你可能想在企业做这些事情，而不在政府。再或者，你想做政策宣传——扩大宣传好方案的声音，提高公众对特定问题重要性的认识。或者你想做招聘——帮助人们做这些选择，为求职者和雇主牵线搭桥，使人们确信AI政策以及其中的某些问题非常重要。

由于目前值得倡导的提案非常有限，与宣传相比，战略分析、制定并实施可行方案在当下可能有更多的长期价值。然而假以时日，宣传最终会很重要，多个利益相关方都要参与确立首选方案。不同技能适用于这些不同的解决方法，而有些是通用技能，如AI知识、写作能力、互联网熟练度。现阶段，强烈建议有研究经验的人考虑上述各种研究问题，有其他技能的人也可以在许多潜在领域有所作为。

下文举例说明在AI政策领域可以做些什么，并特别关注研究和实践两大方面。

AI政策研究员

笼统地说，这一职业发展道路包括成为专家、并推动AI政策思考及干预过程不断向前发展。在举例列出具体研究领域和可能感兴趣的雇主之前，先说明你可以在政府、企业、学术界或是非盈利组织做这一工作。通常，政府不在新的政策思路发展的前沿，至少对长期AI政策而言是这样，但随着AI安全性和经济相关性日益受重视，这点可能会改变。注意你可以跨过研究和实践的界限——贡献构思的同时也实施解决方案。

短期政策研究选择

如果你有兴趣做短期政策研究，比如在这一领域建立直接影响力或专业可信的形象，你可以在各种机构工作。我们认为着重于短期的工作不太可能有很大影响力，因为到现在已经受到足够多的关注，但对很多人来说，为获得技能和信誉从而能研究更紧迫的问题，这是必要而有用的一步。

至于哪个机构或部门能使你取得最大的影响力，没有一个清晰明确的第一名，比如你的兴趣、你知识储备的领域、职位细节、你的国籍（如果想在政府工作）及其他因素也起作用。因此，致力在AI政策领域工作的人应该适应AI领域的变化。对此，我们提出了一些建议。例如，两年前OpenAI还没产生但现在已经是AI领域的重要角色，中国AI行业整体也在迅速发展。

正进行或即将进行这些研究的相关机构，以及有发展机会的地方，举例如下：

• 牛津大学，正对未来的工作进行大量的分析；

• 各种智库，比如布鲁金斯学会、新美国安全中心、数据与社会、国际特赦组织和阿兰图灵学院；

• 咨询公司，比如麦肯锡；

• 谷歌、DeepMind、微软、OpenAI、百度、腾讯、亚马逊等公司，以及非营利组织；

• 美国联邦航空局，无人机方面；

• AI合作组织（The Partnership on Artificial Intelligence to Benefit People and Society）

当然，在任何大学都能做学术研究，但是，在一个人才充足的相关问题研究团队中工作能带给你很多帮助。拥有这种研究团队的大学包括牛津大学、剑桥大学、加州大学伯克利分校、麻省理工学院、华盛顿大学和斯坦福大学。如你认为自己能得到一个以上这样的工作，建议你找开放式工作，这样你既能与技术专家保持密切联系以便调整自己的研究，同时能灵活决定自己的研究目标，影响相关组织的研究方向（而不是钻进牛角尖）。

长期政策及战略研究选择

对于长期政策及战略研究，并没有多少严肃的研究工作正在进行，短期内也看不到会出现太多严肃研究的苗头。以下名单几乎囊括全部：

• Superintelligence的作者Nick Bostrom教授创办的牛津大学人类未来研究所（下文简称FHI）。 FHI /耶鲁大学AI全球政治研究小组有意聘请研究员、研究助理和实习生，研究方向是AI战略及政策，特别是长期战略问题。查看现需职位并订阅新职位开放通知。可随时向FHIjobs@philosophy.ox.ac.uk发送简历和研究兴趣简述。

• 剑桥大学生存风险研究中心和位于剑桥大学的利弗休姆智能未来中心，研究有关AI安全性的技术和战略问题。查看现需职位并订阅新职位开放通知。

• Alphabet旗下的DeepMind可能是规模最大、最先进的强机器智能研究团队。团队有一些专门研究安全和道德问题的工作人员。查看现需职位并订阅新职位开放通知。Google Brain是Google的另一个深入学习研究项目。

• OpenAI，2015年成立，旨在“建立安全的AGI（强人工智能），确保AGI的利好被尽量广泛均匀地分配”。OpenAI已从科技界获得10亿美元资金承诺。

• 全球灾难性风险研究所（CGRI）是一个无党派智库，旨在降低大到严重危害甚至毁灭人类文明的事件发生的风险。

如在政府从事这项工作，无法指出哪里最好，但可以是国防界和情报界（如美国情报高级研究计划局、美国国防高级研究计划局、美国国防部净评估办公室）和美国白宫科技政策办公室（OSTP），后者发布了《时刻准备着：为了人工智能的未来》报告。这三者在AI领域都有影响力，已经资助并开展相关研究。在美国国家科学基金会、美国国土安全高级研究计划局、美国海军研究局以及美国数字服务小组也对决定哪些研究项目拨款施加影响。

AI合作组织很可能在促进关于这些问题的讨论和共识建立上起到一定作用。至于它会否进行大量内部研究，尚不清楚。

虽然通常在上述组织中，至少有一个会发布空缺职位，但你也应尽量广撒网，了解哪些职位将会公布、哪些职位没有大范围公布。上述考虑同样适用于衡量工作机会的优劣—— 例如，与技术专家的接触程度，甚至对长期问题而言，与技术专家保持密切联系都非常重要，以确保你的工作符合合理的AI应用前景。然而，如前文所述，专家意见各不相同，所以你也应尽力观察AI趋势、独立而批判性地思考，多去理解合理的AI应用场景的范围，少作具体预测。

AI政策实施者

除了制定和评估政策外，还需要有人落实政策。

最终，你想得到可能的最有影响力且最相关的职位。在其它条件相同时，你在政府或主流AI公司的职位级别越高，AI成熟后你能决定政策的可能性就越大。

以下具体步骤以供考虑：

短期政策实践选择

参见上文讨论的政府机构，比如无人机和自动武器系统政策落实到的机构。也应考虑地方和州政府，国际机构（比如联合国裁军研究所、联合国裁军审议委员会），非营利组织如阻止杀手机器人运动、劳工部、美国国内政策委员会（及其他地方的同等机构），以及主要国家的国家立法机构。

如果你的目标是发挥最大作用，那么地方和州政府的工作、小企业的工作，只是获取经验的途径，而非目的。也有特例，包括特别杰出的司法管辖区（如美国加利福尼亚州），它能给其他各州或联邦政府提供示范，也包括发展前景特别好的初创公司。

此外，私企和非营利组织目前扮演重要角色，至少近期内很可能仍是AI行业发展的领跑者。因此如果你有兴趣将政策落到实处，那么应该首选Google、DeepMind、微软、Facebook和OpenAI这一类作为理想工作处。

长期政策实践选择

如果你的目标是在将来实施人工智能政策，那么，现在还不好说在哪里工作最好，因为这将取决于在这些年间制定和提出的各种政策。但是，杰出国家的立法和行政部门（例如内阁，美国国家安全委员会，科学技术政策局，美国国会），联合国（目前正在成立一个犯罪和司法研究所下属的AI中心）和欧洲委员会，以及一些关键性的企业应该被纳入考虑范围之中。

在申请或考虑接受工作时，请务必寻求有关行业和政策趋势的意见，以确保进入比较贴近实用的组织机构工作。对于那些还没能在长远AI问题上获得相关行业资质的人来说，在未来几年内想办法获得知识和经验是更有意义的事情，而不仅仅是为了尽快地到一个最有潜力的组织机构工作。要让长期的AI政策实践而不是政策研究变得尤为重要可能还要很长一段时间，而且将来有更多信息来让你辨别哪些组织更接地气。

为了进入角色，你是如何自我定位？

要了解哪些领域

AI政策不是一个非常成熟的领域，它涉及了许多其他学科。理想情况下，你会熟悉许多学科，并且至少在一个领域内具有深厚的专业知识。例如：

AI（人工智能）

毫不奇怪的说，要做AI政策工作，最好要知道AI的科学技术概况。这将有助于你将炒作与实际情况分开，对其现状形成良好感觉，并且可以更加明智地思考这个领域在将来会如何演变。

政治学与公共政策

这些学科可以帮助你了解不同机构在处理人工智能方面问题的作用及其制约（例如国内政治学和比较政治学相关子学科）和国际问题/动态（国际关系是一个相关的子学科）。科学和技术政策的子领域与AI政策极其相关，并提供了大量可供学习的案例以及一些基础性的概念框架。在诸如核武器竞赛和国际网络冲突等政治学领域，有许多类似的问题，这些问题与长期的AI政策相关，而且这两门学科的本科/研究生课程都倾向于强调统计分析和博弈理论等工具，可能对AI做出政策分析有用。

法律

这是许多在AI政策上工作的人所具有的背景。例如，有一个我们机器人年会系列，主要由法律学者组织，研究AI（主要是短期的）法律/政策问题，如责任，问责制，军事等问题。面对组织需要处理的AI相关细粒度问题，法律对于促进深入思考是有用的，而政治学和公共政策倾向于在更高的抽象层次上运作。理解法律还允许人们识别各种工具和杠杆来影响AI开发和部署。最后，国际法作为对国际关系的补充，提供了有关国际规范的一些有洞察力的观点，这些准则可能会形成并约束任何大型政府的先进AI的决策程序。

经济

当仔细思考工作的未来时，经济学是至关重要的。但是，在广泛的经济学文献中也有可能对其他AI政策问题有所了解，如工业组织和博弈理论。尤其是游戏理论在具备了非常先进的人工智能后可以用来映射思考一些关于协作的问题。

其他社会科学

以上只是相关学科的一些例子，但其他有关学科包括科学和技术研究，这是一个实证/概念领域，旨在促进对科学技术在社会中的作用的科学思考和科学家和工程师的决策过程；社会学和人类学，在考虑人工智能的社会和经济影响时尤为重要；心理学有助于研究小规模的人工智能所产生的影响，并了解人类与AI和机器人的如何交互作用，从而反过来可能会形成适应的政策和这个主题框架；媒体和传播学，与研究公众对AI的态度有关，以及更强大的有说服力的AI系统的潜在影响。

哲学与伦理

哲学家有能力以严谨的方式构建人工智能政策问题，伦理与分析何种未来更为美好直接相关。诸如尼克·博斯特罗姆和托比·奥德这样的AI政策工作中的很多研究人员在其他领域都有哲学背景。

安全和情报研究/国家安全

现在以及将来的一个特别关键的研究领域涉及到人工智能的安全隐患问题。未来AI可能会在这些领域更大程度上地使用，而且更为重视安全决策。目前，在AI政策领域，安全和情报研究专家和国家安全执法领域还没有得到充分的重视。

如何从总体上建立你的职业资本

如果你不能直接进入顶级政策职位，以下是你可以在该领域建立职业资本的一般步骤。

我们对这一领域任何人士的主要建议都是深入浅出的：尽可能多地学习，与其他对AI政策感兴趣的人进行交流，培养自己的技能、想法和相关工作经验，并尝试阐明和解决问题。

除此之外：

网络

AI政策是新颖的和迅速变化的，如果你正在寻找这方面的工作，你应该能够找到合适的人，以找到工作机会或被推荐。因此，如果经济上允许的话，就去参加AI大会并参加有关政策性问题的会议；与AI研究人员交谈；参加Facebook相关主题讨论群组，如人工智能安全；与圈内人员联系，谈谈你们的工作；即使没有空余的职位，如果你认为可以为将来增加价值，也可以表示出对工作的兴趣。

与人事政策研究与实践“前线”人员的交流是非常宝贵的，因为对这个话题的大部分分析还没有公布，所以考虑去人类未来学院这样的地方实习（或至少考虑注册他们的空缺职位资讯，上面会列出他们组织和其他地方的工作机会，包括实习和志愿者工作）。参加你的“本专业”学科或行业的会议和研讨会，以找到对AI感兴趣的其他人也是有价值的，帮助在其他领域工作的人员了解最新的发展情况，并找到可能的合作者。

跟踪AI的发展

如前所述，你将需要在一定程度上集中精力，了解最先进的技术状态，合理的趋势判断对于选择关注正确的问题来说至关重要。跟随AI发展的简单做法是订阅杰克·克拉克的Import AI资讯 （编者注，或者关注“大数据文摘”微信公众号），并遵循一些引导，如果你还不知道什么是“热点”，还要查看arXiv Sanity Preserver，它会过滤最新的上传到预打印的网站arXiv上的文章。

对于那些对术语背景知之甚少的人，参加Peter Norvig和Sebastian Thrun或Andrew Ng的在线课程可能是一个好主意。

一个粗略的经验法则是每周阅读三篇左右AI论文，以了解领域中发生的事情，人们使用的术语，以便能够区分真实和虚假的AI新闻。关于AI术语，你的目标应该是至少达到可互动级别的专业 - 基本上是能够在会议中进行非正式对话以通过AI研究员图灵测试，即使你无法自己撰写新奇的研究论文。

广泛阅读

请参阅下面的阅读材料清单。不幸的是，没有一本关于人工智能政策的规范教科书，你可以阅读以了解基础知识，也许那些关键的观点并没有包含在上面提到的学科中。所以广泛地阅读你不熟悉的领域，同时也利用你现有的专业知识。如果你刚开始（例如本科生），你可以考虑在主修计算机科学专业同时辅修政治科学，公共政策或经济学等专业，同时在这些领域之外广泛阅读。但是，要采取哪些课程以及主修哪些课程取决于你的特殊优势和可选项（例如你所在学校的课程）。

获得经验

为了了解如何制定政策，除了在政府或公司任职别无他法。许多有关例如“拉动哪个杠杆”，哪个是关键人物，什么问题在政治桌面上/下面的等等方面的知识，都不存在于书籍和文章，而是存在于处理这些问题的人身上的隐性知识。如果你可以在白宫，国会，联邦机构，地方/州政府，与政府进行互动的宣传团体，公司的政策/法律部门等地方实习，那么请努力争取。

在美国，AAAS科学和技术奖学金是博士们获得政策相关经验的一个成熟媒介。公共关系也是与政策密切相关的一个领域，在此领域中获得经验是很有价值的- 实际上，面向不同领域的团队往往会在公司和政府中共同合作。

在英国，政党政治（例如议会助理）和/或公务员制度（例如在商业，能源和工业战略部工作）方面的经验可能是有帮助的。 同样，将利益相关者聚集在一起讨论问题的经验也是有价值的，这种经验可以来自私营部门或智囊团。另一个经验来源是开展政治活动，这可能是沟通，政策研究，言语写作，联盟建设，事件管理，团队建设等方面所需技能的重要来源。

最后，在一家类似谷歌的主流技术公司担任战略职务，即使最初的工作并不与AI直接相关，也将对转向AI政策行业提供很大帮助。你需要权衡取舍是将时间花在解决研究问题上还是在积攒相关经验上，但如果对AI政策感兴趣，有条件的人应该努力在实际政策问题上积攒一些工作经验。

常见的职业转换

这一部分总的来说将介绍两种典型的进入AI政策领域工作的方法——从一名AI研究员转变为一名AI政策研究员/从业者，或者从其他领域的政策研究员/从业者转向关注AI政策问题。

从AI技术到政策

有AI技术背景的人在政策工作中是重要且稀缺资源。然而，这份工作需要一定的政策专业知识。一种方式是寻找有政策专业知识的同伴或组织，加入他们并从中学习。总体来说，建议对政治和政策都有所涉猎。先了解政策问题的整体形势，再根据自己对不同领域的适应性和重要性判断主攻哪个方向是非常有效的方法。文末推荐的阅读资料对这种方法会有一定帮助。

我们认为这会是一个充满激情的职业生涯，它为少数有强硬AI技术背景的人提供了在政策领域工作的机会和创造“元”价值的机会。相比研究一个个的技术项目，有些人通过帮助AI组织发展，倡导国家AI研究还有在国际层面沟通解决问题，能在AI领域能创造更大的影响力。

从其他政策领域转向AI政策领域

对于拥有其他政策研究背景的人，想转向AI政策研究应当迅速了解AI政策问题的大致轮廓（详情可参考资料列表）并且找到自己想要深入研究的方向。AI是一个令人兴奋的领域，它的政策环境也将随着新的技术成就而迅速转变。因此，打下坚实的技术基础并且密切关注事态发展是非常有意义的。

除去上述建议，为了有政策研究背景的人能够快速熟悉AI领域，还有一些非常有效的方法：学习AI在线课程，参加相关课程培训（有些大学开设了相关课程，并且大型公司有时也会提供培训机会）或者读一个AI的硕士课程。另外，参加We Robot 和Governance of Emerging Technologies 这类会议对他们也十分有帮助，能让他们对AI政策与原研究领域的相似和不同之处有更好的认识。

资料

以下资料列表可以根据个人背景情况和理解能力选择阅读。如果你致力于AI政策事业，我们选择的这些行业内有代表意义的材料，应该会让你感到有趣。如果你对这些内容感到无聊枯燥，那可能是一个糟糕的信号。另一方面，如果阅读这些材料后你感到讨论的内容十分重要，或者在这些文献中发现能用自己的专业能力补充相关内容，将是很赞的开始。

一个需要注意的地方是列表中有些相当专业的内容与专业研究AI政策更加相关——例如，一些AI课程教材会比较难懂，而《为人工智能的未来做好准备》这类报告对入门者来说更加容易理解。在以下各板块中，我们大致对提供的材料按照初级到高级进行了排序。

我们的建议是先查看一些资料，找到自己的兴趣点，再决定进入哪一领域并阅读大量相关信息。

在介绍并列出相关课程、书籍和论文后，我们也给出了科技政策课程的教学大纲案例，这些大纲提供了更加广泛的文献指引。

视频

• Beneficial AI 2017会议视频（多场演讲）

https://futureoflife.org/bai-2017/

• Nick Bostrom的《AI中的道德伦理》，纽约大学Virginia Dagnum, and Yann LeCun的公开讨论会

https://www.youtube.com/watch?v=RXCqKwMHpb0

• Miles Brundage《AI政策的远期规划》，多人演讲

https://www.youtube.com/watch?v=RXCqKwMHpb0

书籍

• Bostrom, N.《超智:规划、危险与策略》（2014）

此为对长期AI政策有兴趣的必读书籍

• Erik Brynjolfsson and Andrew Mcafee《第二次机器时代》（2014）

• Lin, P., Abney, K., and Bekey, G. (eds).《机器人伦理：社会和政策对机器人学的影响》

(这是一篇很好的关于AI和机器人学的道德伦理与政策问题的介绍。包括对自动武器和社会服务型机器人的讨论。

• Russell, S. and Norvig, P. 《人工智能入门》第三版（2010）；Goodfellow, I., Courville, A., and Bengio, Y.《深度学习》，（2016）

这两本书是最好的了解人工智能背后应用科技的书籍。Russell and Norvig’s的教材被各类AI课程采用而且介绍了许多重要概念和术语。然而它对深度学习少有介绍，因为编写时期AI这一子领域还未像现在这样热门。Goodfellow et al的课本是关于深度学习最好的材料，网上也可找到免费资源。技术背景相对较弱的同学可以先观看AI网络视频，例如Norvig and Thrun’s 网络课程和Andrew Ng’s网络课程。

• Neal, H., Smith, T. and McCormick, J《除了卫星：二十一世纪美国科技政策》

Howlett, M. et al. 《公共政策研究：政策周期与政策子系统》第三版

第一本书概括性描述了美国科学政策的历史、机构和相关问题。而第二本书介绍了更多公共政策原理，包含什么是公共政策、怎样实施公共政策以及政策是怎样变化的。

文章和报告

• 2016年白宫发表《为人工智能的未来做好准备》

这篇报道反映了全美四家研究会为白宫总结的当下顶尖的AI短期政策思路。英国和欧洲政府也有发表相关文件，但白宫的报告是公认最优秀的一篇。报告对一些值得认真评估的短期和长期政策关系发表了相关声明（例如，我们应当不计时长的致力于同一件事）。

• 其他政策报告：

o 当代AI报告（2016）：近期人工智能科技对社会和经济造成的影响

o 英国下议院科学技术委员会2016年报告：机器人技术与人工智能

o 经济学人（2016）：人工智能特别报告

• Bostrom, N《AI发展开放的战略意义》

尽管AI学者们在关于促进分布式控制、人工智能带来的福利和降低AI安全风险等不同目标上意见分歧，但开放是AI政策永恒的主要问题之一。这篇文章是相关战略问题最好的入门读物。

• Bostrom, N., Dafoe, A., and Flynn, C.《发展超智机器的政策需求》

这篇文章对长期AI政策评估提供了总体框架，并且强调了在未来几年会影响AI发展形态的几项主要研究内容。

• Brundage, M. and Bryson, J. 《人工智能的智策》2016

这篇文章描述了当今美国短期“实际意义”的AI政策的概况（一些政策可能没有以AI的名义出台，但对其实际产生了影响）并就加强政府相关专业技能提供了一些建议。文章也提到了其他相关文章，例如无人驾驶汽车政策。

• We Robot会议论文，主要讨论了短期AI政策：

 这里是2016年会议内容和2017年会议内容。

大会是法学界关于人工智能和机器人学举办的重要会议。2018届会议将在斯坦福召开。

AI法律、政策和伦理

• Burton, Emanuelle, Judy Goldsmith, Sven Koenig, Benjamin Kuipers, Nicholas Mattei, and Toby Walsh. 2017《人工智能课程的道德思考》arXiv:1701.07769 [Cs].

• 纳什维尔范得比特大学法学院法律与创新项目组教学资料与讨论案例。

其他阅读清单

• 全球AI政策参考书目

http://www.allandafoe.com/aireadings

• 80,000小时AI安全技术大纲

https://80000hours.org/ai-safety-syllabus/

汇总了大量关于AI政策和策略的工作

• 科学技术政策大纲

o Andrew Maynard的《高等科学技术政策 》

https://sfis.asu.edu/sites/default/files/hsd_502_s16.pdf

o David Hart的《科学、技术和公共政策》

https://schar.gmu.edu/sites/default/files/current-students/Courses/Spring_2017/PUBP/Hart-PUBP-710-002-Spring-2017.pdf

• 机器学习的公平性、责任心和透明性（FATML）-教学大纲和资料

o 哥伦比亚大学奖学金项目《关于机器学习的公平性、责任心和透明性》

http://www.fatml.org/resources.html

o FATML相关项目奖学金列表

 http://www.fatml.org/resources/relevant-scholarship

其他问题

你认为一个聪明的人可以独自推动这些议题还是不得不加入某个团队？

我认为会是独自推动的形式，因为这个领域还没有得到充分发展。因而，相关议题的解决需要很强的自我导向。那些对这个问题很有兴趣并且特别具有自我导向的聪明的人，我相信投入50-500个小时进来去测试一下取得进展的能力，是一个合理的行为。

什么类型的独立研究项目最让你为看到人们在这些问题上努力而感到兴奋？

有人写关于以上话题的论文并且给这些问题一些有帮助的广泛的概述（很好的解释他们，全面的讨论不同的方法，在一个高的水平上讨论各方法的优缺点）或者攻克一小块他们可以详细解释或者有独到看法的内容。

在你看来，目前AI政策领域最大的突破是什么？

我认为一系列具有交叉性的思考非常重要。我认为单个最重要的战略思考是：快速的开始可能使某些人或者某些事获得决定性战略优势（其中某些事可以是为了某个目标AI系统的最优化）。另一个也同样是最重要的事是，存在一个排列的问题，这个很难，但是我们在实现超级智能系统之前我们需要解决它。

哪三个人选你认为最有潜力在AI政策方面可以做博士生导师？

我不认识很多能在这些领域带学生的人，尤其是那些对于变革性AI感兴趣的人。我猜Allan Dafoe可能是最好的人选。也可以考虑在剑桥大学获取博士学位，即使没有该领域背景的指导老师的情况，也可以同时寻求机会与FHI合作。

Helen Toner曾经提出的一些建议：

上面提到的UCLA的PULSE团体，斯坦福的CISAC，伯克利的长期网络安全中心，宾夕法尼亚大学的Perry World House也是一定的自我导向研究能力，并令人信服（也许不是去读博士，而是做博士后）。

对于正在开始AI政策职业的人，你有什么大多数其他人不会给的建议？

试着独立研究一个相关的问题几个月。如果资金是一个瓶颈的话可以通过EA Grant申请资金或者试着为此筹集资金。

但是独立工作不意味着拒绝寻求建议，最好去和尽量多的在这些问题上有深刻思考的人去交流。

如果你想从事AI政策工作，擅长政治有多重要？

对于所谓的从业者会相当重要，但是对于研究员重要度会小一些。

不同“开放”程度下，从事AI工作的相关组织成本和收益是什么？

一个组织是不是应该发表论文，公布他的源代码，和大学等其他组织合作，这些取决于它工作有多么高级，多么接近上面所说的AI的重要类型。

开放会推动科学快速发展（通过共享好的东西），减少威权主义和AI诱发的单极性风险。但是也会增加AI被恶意分子滥用和技术竞赛的风险。

对于什么样的开放是受欢迎的拥有一个完善的原则，怎样是令人满意的，在什么时候，什么条件下开放，将能够便利人们更容易践行开放的受益形式，而不会产生未来开放形式的问题。我们有兴趣分析一个组织开放的各种方法以及潜在的代价和益处。

其他的风险：

上面的部分指出了种种高级AI系统潜在的风险，下面我们列出了三个其他的广泛的风险：

对于十分强大的AI系统失去控制：AI系统将在大范围的环境下变得更加强大，可以使他们以创新的方式达到特定的目标。但是，设计出可以被人类有意识的控制的AI系统，并能够可靠地避免负面影响，将会很有挑战性，尤其是当AI系统的能力和可能影响的方面超越了人类的预见能力。设计鲁莽的系统会将限制他们的人类设定为需要克服的阻碍，追求不合理目标的强大AI系统对于人类也将非常难以控制。相较于现在的电脑蠕虫或者网络犯罪，被用于错误目的的AI系统理应被认为会制造出困难（很有可能更大的困难）。如果被错误使用的AI系统变得足够强大，他们对于目标的追求有可能严重的危害人类长久的未来。对于我们有可能会严重到人类的毁灭。

逐渐地丢失对于社会方向重要的把控：逐渐失去对社会方向的有意义的控制：随着越来越多的控制逐渐被分解为复杂而难以理解的AI系统，这些系统追求的是实现我们的目标（比如利润最大化），人类可能丢失对于我们社会发展方向做出有意义的集体决定的能力。最新出现的关于基于种族或者性别产生歧视的AI系统就是这个趋势一个早期的例子。基于个人爱好口味预测进行特定消息推送过滤器事件也是一个例子。如果我们设计的系统忠实而透明地反映我们价值观的技术能力远远落后于我们的决策自动化的能力，那么这可能会给文明的轨迹带来长期的问题。

AI系统的道德相关性：目前，关于什么类型的非人类可以算作“道德相关“基本没有达成一致（黑猩猩？猪？蚂蚁？）。尽管对此没有很好的定义，但是我们发现一些AI系统在某些方面变得具有道德相关性貌似是合理的。如果发生，对AI系统应该如何设计和使用将会产生重大的影响，对于特定的AI代理需要一些保护。例如，它可能廉价的复制AI “工人”；如果这样，他将降低这些“工人”可以从事的劳动的价值，潜在的创造一个情景，在其中AI “工人”只能有维持生活的基本收入（比如，足够支持硬件和电的成本）。这种情况值得避免的程度直接和AI系统值得被定以一定的”人权”的程度紧紧相连。

致谢

Miles Brundage是本篇指南的作者，感谢Jan Leike, Jelena Luketina, Jack Clark, Matthijs Maas, Ben Todd, Sebastian Farquhar, Nick Beckstead, Helen Toner, Richard Batty, David Krueger, Jonathan Yan, Brittany Smith, Robert Wiblin, Carrick Flynn, Allan Dafoe, Niel Bowerman, 还有Michael Page对本文早期版本提供的宝贵建议。他们对最终版本的内容仍保留各自的意见。

原文链接：

https://80000hours.org/articles/ai-policy-guide/