TowardsDataScience 博客中文翻译 2016~2018（二十五）-CSDN博客

原文：TowardsDataScience Blog

协议：CC BY-NC-SA 4.0

AI 本质上是“人工感知”

原文：https://towardsdatascience.com/ai-is-essentially-artificial-perception-f69f0493613d?source=collection_archive---------2-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

人类的智慧来自于惊人的双重性，即基于对模式的感知得出结论，相反，基于非常结构化和理性的决策得出结论。这两种形式各不相同，但相辅相成。基于机器的智能也有两种形式:基于深度学习的人工智能解释数据中的模式以得出结论，从而模仿我们大脑基于感知的智能；标准的逐指令计算(就像在 PC 中一样)模拟了我们大脑的理性智能。

我一直想知道为什么我能很容易地回忆起一首歌的曲调，却记不住歌词。比起名字，我更记得一张脸。我能察觉到某种特定香水的气味，但无法给它贴上标签。我能辨别葡萄酒的味道，但不能准确地描述它。我可以凭直觉触摸织物，辨别它是丝绸、羊毛还是棉，但我说不出确切的原因。

似乎我能比理性或口头描述更好地储存和回忆声音、面孔、气味、味道和感觉的复杂模式。感知是我们通过感官看到、听到或意识到某种事物的能力。感知是从感觉过程中衍生出来的单一统一的意识。然而，当我做涉及物理、数学、规划、计算、账目或制定战略和战术的逻辑思维时，很少有来自过去的模式。我的大脑处理模式的方式和处理逻辑情况的方式不同吗？

我们大脑的简单模型

如果我根据我的观察来模拟大脑，它将由两部分组成:

1.正确——基于感知

2.左-基于理性

我们的感官——味觉、视觉、触觉、嗅觉和听觉——为我们大脑的右脑提供产生感知的模式。而我们所有的逻辑解释都影响左边部分，并产生对一个情况或问题的结构化和理性的理解。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Duality of Human Intelligence

当我们学习物理或数学时，我们大多使用大脑中最适合为我们提供主题逻辑结构的理性部分。然而，当我们处理由我们的感官创造的模式时，我们正在使用大脑的感知部分。我们的五种感官是创造感知模式的主要来源。由于大多数情况是逻辑和模式的混合，我们协同使用大脑的理性和感知部分来得出结论和做出决定。感知和理性这两个部分都是人类智慧不可或缺的来源。

在决策过程中，还有另一个关键因素——可能是最主要的因素:情绪和感觉。我相信，我们的情感是过去经历的情景锁定在大脑中的感知的残余。如果一个情景的声音和景象的模式在我心中产生了一种恐惧的感觉，那么与这种模式相关的恐惧就作为一种情绪被留下了。情绪有各种形式，如恐惧、喜欢、厌恶、亲和、愤怒、嫉妒和爱。即使在新的情况下，情绪也会被感官产生的模式所激发，并对整体感知做出贡献。例如，如果一个中国人的微笑和声音让我产生了愉快的感觉，它会留下一种被喜欢的积极情绪。当我看到另一个微笑的中国人时，过去留下的情绪会影响我的感知。我如何将情绪融入大脑的简化模型中？它们就像一种“内在”感觉，影响着其他感觉的模式。我们常常意识不到，也无法重建哪种感觉、模式或情感对整体感知贡献最大。众所周知，如果餐厅的装饰和音乐与食物的类型相匹配，影响对味道的感知，那么食物的味道会更好，而如果服务很差，同样的食物会很难吃。

大脑的两个部分在所有情况下都同时活跃。右脑部分可能会忙于根据模式产生感知，但同时，在相同的情况下，大脑的理性部分会忙于根据某种逻辑结构构建对情况的理性解释，并得出理性的结论。谁赢了？右脑还是左脑？看情况吧。当与微笑的中国人交谈时，感觉可能是积极的，但理性的大脑可能不同意他的论点，导致重大冲突。谁决定我是否继续和微笑的中国人打交道？右脑还是左脑？

让我用一个购物的小例子来说明我们大脑的两个部分之间的动力。有一天，我路过一家体育用品店，一件骑车运动衫吸引了我的目光。我进去查看了一下。布料的颜色、形状、设计和手感立刻吸引了我。它非常适合商店里的马内奎因。我的情绪，由我去年买的类似的东西引发，给了它一个非常积极的认知。我的右脑(感知部分)说:去吧。然而，我大脑理性的一面说，我已经有了类似的东西，如果我买了这件，我就再也不会穿以前的那件了。此外，它相当昂贵，而且不打折。我应该等着看它上市。但是右边坚持，就是这么爽；我必须得到它，担心它可能很快就卖完了。左边的人说，我有这么多球衣，我没有空间来保存它们，我的钱可以花在更好的东西上，比如更好的自行车鞋。最终，我的情感投下了否决票，让我买下了这件球衣。我相信每个人都经历过类似的情况，无论是关于一件球衣，鞋子，葡萄酒，房子，甚至是一个合作伙伴。

这一切如何应用于人工智能？

今天大多数人工智能系统都是基于深度学习的，通过将人工智能系统暴露在成千上万个说明性的例子中来进行学习。深度学习方法涉及将图片、视频或声音中错综复杂的细节和微妙的细微差别吸收到人工智能系统的神经网络参数中。参见:"AI 机器如何学习——就像人类一样https://medium . com/@ sharad . Gandhi/How-humans-and-machines-learn-c48de 5360527 # . 1l 2g 9 vee 0 . "经过训练后，AI 系统能够根据输入系统的图像、人脸、物体、动作或声音中的模式来感知输入数据。人工智能系统的决策是基于对输入数据模式的感知，就像大脑的右侧一样——专门感知模式。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Duality of Computing

左边是关于理解和处理情况的逻辑。这更像是我们从个人电脑(PC)或智能手机中了解的标准计算。这是关于由规则清晰构建的编码情况，这些规则可以用“IF-THEN-ELSE”逻辑来表达。它可以与我们简单模型中的左脑相比较。我想提醒读者，这里使用的这些简单化的模型与现实大相径庭。他们的目的只是用一种非常容易理解的方式来说明大脑中两个过程的工作，并提供一个比喻来说明两种形式的计算是如何工作的。

有趣的观察和结论

1.人工智能处理对某一情况的输入数据中的模式的理解，并基于其对特定主题的深度学习来导出感知。这些看法被表达为对在这种情况下要采取的决策的“信心水平”。人工智能实际上是人工感知。人工智能机器模仿人脑的感知能力。

2.标准计算机(如 PC)中的软件是结构化逻辑，类似于大脑的理性部分。

3.有趣的是，人类的智力与理性思考者有关——例如牛顿、爱因斯坦等。然而，深度学习人工智能实际上是关于我们大脑的感知技能。

4.人类的感知智能有数百万年的进化史，因此比我们现代人的理性能力要深刻得多。

5.基于人类感知的决策很难用语言详细描述，因为它几乎是自动的和潜意识的。相比之下，根据定义，逻辑是可以精确描述的。

6.我们通过大脑的理性和感知部分之间的密切联系来解决大多数情况。我们大脑的两种技能之间的内部网络仍然是个谜。人类判断的独特性来自于同时利用两个部分的能力。

7.今天的(狭义)人工智能神经网络通常只专注于一个专业领域。将 100 或 1000 个不同领域的神经网络相互连接起来，可能会产生更广泛的通用智能——类似于我们大脑中各种专门区域的相互连接。

8.我们正处于将标准计算和人工智能在真实系统中互联的早期阶段，以从它们的互补角色中受益。这种互联将使未来的人工智能系统更加多样化。

9.我们的大脑有大量的维度——远远超过我们今天试图用人工智能机器模仿的维度。人类的潜力使我们能够解决非常复杂的多学科问题，赋予我们想象从未存在过的事物和情况的能力，创造力，产生非常强大的情感和动力去实现看似不可能的事情，并赋予我们难以置信的意识和自我意识。

10.今天的人工智能系统，即使范围狭窄和有限，仍然能够革命性地改变我们的生活和工作方式。它为简化和个性化产品的使用以及提供全新的服务提供了不可思议的机会。我们正处于巨大变化的开端。

总之，我们可以说，就像我们人类大脑的两个主要决策技能——通过模式感知和理性，通过逻辑——也反映在基于计算的决策中。今天的人工智能，基于深度学习技术，导致基于感知的决策，而标准计算，像个人电脑一样，是基于理性决策的结构化逻辑。更好、更平衡的决策来自于两种口味的结合。

更多关于人工智能的信息:AI&U——将人工智能转化为商业

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

https://www.amazon.com/AI-Translating-Artificial-Intelligence-Business/dp/1521717206/

联系人 : 沙拉德，克里斯蒂安，www.ai-u.org

阅读我们的其他文章:

人工智能——去神秘化

[人工智能机器如何学习——就像人类一样](http://• How AI machines learn — just like humans)

马上从人工智能开始！

人工智能促进更好的决策

人工智能是下一代的工具

原文：https://towardsdatascience.com/ai-is-the-utility-of-the-next-generation-6b2c8ee6f428?source=collection_archive---------3-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们的家庭生活永远在改变。如果你问任何人他们在家里使用什么工具，他们可能都会说同样的三件事；水、电和煤气。但是他们大错特错了。对于大多数发达国家来说，我们的家庭生活极其复杂。我们经常与比这三个主要工具更多的东西进行交互，但是每个人似乎都忘记了。

Investopedia 对公用事业的定义如下:

效用是丹尼尔·伯努利引入的一个经济术语，指的是从消费一种商品或服务中获得的总体满足感。理解商品或服务的经济效用很重要，因为它会直接影响需求，进而影响商品或服务的价格。然而，消费者的效用很难衡量，但它可以通过消费者行为理论间接确定*，该理论假设消费者将努力实现效用最大化。*

在过去的 20 年里，有一个主要的公用事业已经上升到顶端，它有助于建立所有其他公用事业的基础，养活我们今天和未来的家庭——互联网。互联网对我们家庭的渗透呈指数级增长。1998 年，只有 9%的家庭能够享受互联网提供的可能性。现在，除了 10%的英国家庭外，所有家庭都使用互联网进行浏览、交流、流媒体、商务和购物。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Share of households with internet access in the United Kingdom (UK) from 1998 to 2017

除了互联网，现代家庭还经常为电话线和数字电视服务(如 SkyTV 或 Virgin)付费，但如今，随着 SkyQ 和智能手机的兴起，互联网连接已成为这些设备充分发挥潜力的必要途径。慢慢地，设备制造商正在慢慢地将互联网连接功能添加到他们的(通常是单调的)家用电器中，以吸引消费者，让我们更好地控制我们的家。烤箱、冰箱、吸尘器甚至烤面包机都有了自己的互联网连接，目的是让我们的生活变得更简单、更方便。

这就是人工智能的作用。

人工智能在我们的口袋里。我们的电视。我们的笔记本电脑。很快，它甚至会出现在我们的转笔刀里。人工智能已经与我们的家用电器共享同一个主干，这有助于促进其全部功能——互联网。但我们不想要的是一个适用于一切的单个人工智能。我们不希望一个人工智能程序用于我们的手机，一个用于我们的电视，一个用于我们的蓝牙扬声器，一个用于我们的卷笔刀——但这是我们目前的方向。我们的消费者人工智能景观的当前状态不是可订阅的实用程序。我们为包含基本自主功能的硬件(就“智能音箱”而言，就是字面上的意思)支付小额的一次性费用，这些硬件基本上解决了一个单一的任务。这些都无法与强大的智能相提并论。

一个。这就是我们想要和需要的人工智能系统的数量。一个指挥者——他的工作是通过语音命令，甚至可能是手势或声音，让我们的生活尽可能方便。一个人工智能可以分布在这个国家的每个家庭，让居民获得相同的智能‘实例’;智能的最佳“实例”,它与我们所做的一切相互作用，并与我们所拥有的任何东西相结合。

我们有各种各样的公司，如谷歌、脸书、微软、特斯拉、英特尔、英伟达、亚马逊、苹果和更多正在开发单独的人工智能/机器学习技术。看看 Siri、Cortana、Alexa 或者 Google Home——它们都不一样。理论上，他们尝试做同样的事情——但实际上，这不会成功。有些人比其他人更好。

Amazon Alexa Advert

那你为什么不挑一个最好的呢？

因为为什么要妥协？人工智能应该是一种更高级的智能。这是一项全世界的组织应该合作开发的技术，而不是在市场上竞争。不应该有“人工智能市场”，就像不应该有“人类市场”一样。

有一天，我们将不再在互联网上搜索答案，而是让一种形式的人工智能代表我们搜索互联网。一个知道如何处理所有语言的自然人类信息，并以完美的翻译返回您所寻找的答案的系统。这是一个任何技术能力的人都应该能够使用的系统，有一天我们将订阅这样做的特权。一个分布式人工智能系统，能够理解人类社会的复杂性和细微差别，能够以无与伦比的精度和效率满足每一个请求，这正是我们作为一个星球正在努力实现的目标。但如果我们的企业过于关注“他们的方向”，而不是社会的方向，这种情况就永远不会发生。

每个人都可以使用的 AI 是一种经济效用。我们现在拥有的是资本主义商品。讨论一下。

我是一名健身运动员&软件工程师，对健美和机器学习充满热情。我经营着自己的博客和网站，在那里我讨论这些话题，甚至更多。我提供了我的 Github 资源库的链接，这样你就可以看到我正在进行的项目和社交媒体账户(脸书、Instagram、Twitter 等)。)所以你可以跟着我健身改造。

http://lukealexanderjames.com/

如果你喜欢你所读的，请考虑按住鼓掌按钮一会儿！

人工智能在学会如何解释自己之前毫无用处。

原文：https://towardsdatascience.com/ai-is-unless-until-it-learns-how-to-explain-itself-7884cca3ba26?source=collection_archive---------7-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

几年来，神经网络和深度学习一直处于人工智能行业的前沿。这些矩阵乘法和反向传播机器通常是新手和有经验的开发者选择的机器学习算法。问题是——这些算法(以及其他算法)如何描绘和解释它们预测的结论？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

如何调试一个神经网络…

上图虽然是如何调整神经网络的一个有趣的抽象，但却总结了这种情况的严峻现实。以我个人使用 TensorFlow 和 MatLab 的经验来看，开发这些算法最欢乐的时期就是它们真正编译生成纯垃圾的时候。没有几个小时的令人流泪的调试，就不可能看到不良性能的原因——但在一天结束时，你应该为它的工作感到高兴，所以如果我是你，我会收拾行李，回家，在高潮中结束一天。

正如 Slav Ivanov 所描述的，在他题为‘你的神经网络不工作的 37 个原因’的中型文章中，他的列表只是你可以查看以解决问题的事情的子集。如果我是诚实的，大多数这些事情需要以前的知识和经验，关于为什么这些事情会发生，以便有效地解决它。作为一个非常高级的例子，训练一个学习率(α)为 0.01 的小型编码器/解码器神经网络可能是一个很好的开始——但打赌这是否会在不吐出大量空白字符甚至纯垃圾的情况下工作，将与在彩票中赢得头奖的几率大致相同。

那么你从哪里开始呢？什么时候应该衰减这个值？你应该以什么速度衰变？它真的在工作，但你只是没有给它足够的时间来运行吗？你对这些问题给出什么答案并不重要，它们可能很好，但很可能不会是最好的。这是一个在反复试验中茁壮成长的领域。

开发人员和数据科学家已经炮制了一个大型的调试技术工具包，让他们对正在发生的事情有一个大致的了解，这意味着有可能揭开黑盒的盖子。然而，这些技术不允许算法告诉我们为什么它会做出某些决定。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

学习技巧的可解释性

现代人工智能算法的密度令人难以置信。你可以有数百层，一个新的基准世界纪录，甚至可以将其应用于医疗领域——像 IBM Watson 这样的产品已经在这些任务上做得很好了。但是它需要能够解释它的决策，特别是对于任务/安全关键的应用，如国防和航空航天。神经网络擅长给我们准确的结果，但它们在连贯的答案和解释方面失败了。

想象一下，你有一个这样的神经网络，可以用来识别不同品种的狗。让我们给它看一只拉布拉多。一个训练有素的神经网络会发出*“嘿，那是一只拉布拉多！”这很好，但如果你问它为什么认为它是拉布拉多犬，它会说“它看起来像我以前见过的东西，所以我认为它是拉布拉多犬！”。网络的解读没有任何智能或科学的尝试。在理想的情况下，它会说“嗯，它是金色的，看起来像一只中等大小的狗，而且看起来很友好。很像以前见过的很多拉布拉多犬“*”。这是一个基本的例子，但这种程度的解释将允许开发人员甚至用户完全理解算法的训练数据和计算架构的缺陷。

想象一下，如果我们给同一个网络看一张田里一些草的照片，神经网络会说*“是的，那是另一只拉布拉多犬】*，这很难理解为什么。草是绿色的。如果网络声称桑德看起来像一只拉布拉多犬，我能明白为什么，因为它们至少是同样的颜色。添加推理和解释的元素将向开发人员显示网络正在看到什么，然后可以对架构甚至输入数据和训练参数进行清楚的调整，以便在将来减轻这个问题。给这个场景添加一个解释元素可能意味着开发人员回到训练数据，并看到为训练提供的所有拉布拉多图片都在一个大的绿色区域中，因此猜测拉布拉多-所以下一步将通过噪声添加一些数据变化，或者甚至在不同位置(如人行道上或水中)找到更多拉布拉多图片。

谈论拉布拉多似乎很琐碎，但它突出了一个相当重要的问题。虽然对于大多数应用来说，能够指向某样东西并对其进行分类是很好的，但对于安全关键系统来说，这还不够。安全关键系统不能失败，而且必须可以解释——这是神经网络所不能解释的。像无人驾驶汽车这样的产品正日益成为现实，我们需要一种车辆来解释为什么它会做出决策，尤其是在发生事故的情况下。能够解释和诠释使得法律能够解决争端并找到那些对这些系统问题负责的人——管理自治系统的法律几乎没有得到发展，这都是由于未来产品的不可预测和不可解释的性质。

我们不能让这些类型的产品负责我们的道路、军队以及我们和我们家人的工作生活，直到它们能够学会提供解释，以便我们能够找到那些对所做决定负责的人。

http://lukealexanderjames.com/

如果你喜欢你所读的，请考虑按住鼓掌按钮一会儿！

人工智能学习金拉米，第二部分(输入 Google TensorFlow)

原文：https://towardsdatascience.com/ai-learning-gin-rummy-part-ii-enter-google-tensorflow-7338ef93f2ed?source=collection_archive---------1-----------------------

上一篇描述的手造策略可以用它的手评估函数来表示:

E = Wh

其中 E 是代表手牌评价(或你手中牌的相对值……值越高越想保留)的 1×52 矩阵， W 是应用于手牌的权重的 52×52 矩阵， h 是代表手牌的 1×52 矩阵。我们如何从上一篇文章中描述的代表手的 4 x 13 矩阵发展到这里的 1 x 52 矩阵？我刚刚展平了 4 x 13 的矩阵。 W 然后，表示该副牌中的每张牌与该副牌中其他每张牌的关系。

您可能会注意到，这与之前描述的卷积矩阵不同，后者只是考虑了水平和垂直相邻的 2-3 个单元。然而，一个 52×52 的矩阵可以计算出与应用于手中每张牌的卷积矩阵相同的函数。

那么我如何从之前的 7 x 7 卷积矩阵:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

一个 52 x 52 的矩阵来计算同样的函数？手工做起来并不难，但是输入 w 的所有 2704 个值会很无聊，而且计算机科学家很懒。用机器学习帮我搞清楚不是更好吗？为什么不用谷歌投入 TensorFlow 的数百万美元研发资金在这里工作呢？

谷歌张量流

谷歌的机器学习开源库有方便的 Python 库，以及一些非常漂亮的介绍文档，包括一个非常有用的注释系统，实现了监督学习手写数字 MNIST 数据集的线性模型，这是一个研究机器学习计算机视觉的热门领域。

我使用 TensorFlow 的目标非常简单:计算出一个 52 x 52 的矩阵，它与我在 gin rummy hand evaluator 上计算的 7 x 7 卷积矩阵具有相同的功能。所以有几件事可以让 TensorFlow 继续下去:

设置培训数据
建立输入、输出和参数
建立模型
指定要优化的损失函数

金拉米培训数据

我使用的训练数据是 1)玩家的手牌(4 x 13 矩阵)和 2)结果手牌评估(也是 4 x 13 矩阵)的配对。在我手工构建的系统中，这是使用上面的卷积矩阵计算的。为了生成这些训练数据，我让 gin rummy 程序自己玩了几千场游戏，每次它评估一手牌时，它都会保存手牌/手牌评估对。例如，假设我们有一手牌:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

并且手工构建的系统生成以下手工评估:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

因此，训练数据总计有几千对，就像这两个一样，只是它们不是像上面那样的 4 x 13 矩阵(更容易阅读)，而是扁平的 1 x 52 矩阵。

张量流的输入、输出和参数

告诉 TensorFlow 哪个是输入(手牌)哪个是输出(手牌评估或牌组值)的代码很容易指定:

# Model input and output
h = tf.placeholder(tf.float32, [None, 52], name="hand")       # h = hand
d = tf.placeholder(tf.float32, [None, 52], name="deck_value") # d = deck value

这里的参数是 W，52 x 52 矩阵，它的种子是随机值:

# Model parameter
W = tf.Variable(tf.random_normal([52, 52], stddev=0.35), name="weights")

模型

我为这个小练习选择的模型是一个简单的线性模型，E = Wh。TensorFlow 的便利之处在于能够使用声明性方法来设置神经网络，而不是必须对它们进行功能性编程。

# Model
linear_model = tf.matmul(h, W)

损失和优化器

损失函数是一个标量，当它的机器学习算法应用优化器来引导它找到解决方案时，它测量参数的试验版本 W 之间的差异。损失测量是平方和。优化器是梯度下降，许多机器学习应用程序中使用的标准优化器。你需要为梯度下降提供一个增量/减量参数，在找到一个可以收敛到这个解的解之前，我不得不做一些实验。

# Loss
loss = tf.reduce_sum(tf.square(linear_model - d)) # Optimizer
optimizer = tf.train.GradientDescentOptimizer(0.0001)  
train = optimizer.minimize(loss)

矩阵学习结果

那么 W ，得到的 52×52 矩阵是什么样子的呢？用色标显示矩阵，深绿色代表较高的数字:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

很高兴我不用把这些都输入进去。

下一站:更有趣的机器学习

TensorFlow 的这个用法非常简单，是如何使用它的一个很好的例子。然而，它本身并没有解决一个有趣的问题，它只是给作为程序员的我提供了一个便利。更有趣的是发现一种比我亲手制作的金拉米游戏玩得更好的算法。这种新算法会考虑更多的游戏信息。它如何学习？它必须和自己玩很多很多的游戏…

人工智能:像人类一样学习。

原文：https://towardsdatascience.com/ai-learning-to-learn-as-humans-do-ecaec5e310c0?source=collection_archive---------11-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

深度学习通过将计算机视觉、语音识别、机器翻译和自动车辆导航带到高于人类水平的性能，开启了人工智能革命。现在深度学习在 AI 中占主导地位。

监督学习(在深度学习中)是迄今为止人工智能所有工业成功的原因。它有一些明显的缺陷，限制了它的可伸缩性。根据 Yoshua Bengio 的说法，它学习那些在训练环境之外不能很好概括的表面线索。它仍然无法在多个时间尺度上很好地学习高级抽象。它仍然严重依赖于平滑可微的预测器。

现在，人工智能社区正在研究下一代技术，这种技术将使系统能够以迄今为止只有人类才能展示的方式理解世界并做出反应。无监督学习、实时学习、强大的预测模型、多时间尺度、一次性学习是需要突破的领域，以便使新一代成为现实。

神经科学一直是基于机器学习的人工神经网络的灵感和模型的来源。现在是时候加强前沿深度学习和前沿神经科学之间的联系了，因为前沿神经科学正在深入挖掘答案，前沿机器学习需要开发下一代像思维机器一样的人类。这里只有几个样品。

时间压缩的未来预播放——通过只闪现图案的起点来触发视觉图案的完成——发生在我们的大脑中。

“感知是由对未来事件的预期引导的。有人假设，这一过程可能是通过早期视觉皮层的模式完成来实现的，在这种情况下，只有一部分视觉输入被提供后，刺激序列才会被重新创建。”荷兰内梅亨大学唐德斯大脑、认知和行为研究所的研究人员已经用他们的实验证明了这个假设是正确的。" 我们发现，只闪烁一个移动点序列的起点，会在初级视觉皮层(V1)中触发一个活动波，从而重建完整的刺激序列。与实际刺激序列相比，这种预期活动波在时间上被压缩，即使注意力从刺激序列转移时也存在。该预播放活动可以反映视觉序列的自动预测机制他们在《自然》杂志最近的文章中写道。

当我们对一个被观察的人感同身受时，视觉空间精神传送到另一个人的身体发生在大脑中。

“空间隐喻经常被用来描述移情(即设身处地地为他人着想)，但很少有人研究移情和视觉空间能力之间的经验关系。有趣的是，似乎有与这两种功能相关的共享脑区；顶叶区域长期以来一直与视觉空间处理有关，最近研究移情反应的神经相关性的神经成像工作也注意到了顶叶网络的招募。范德比尔特大学的研究人员发现我们的大脑让我们真切地感受到处于另一个人的位置。他们称这种自我-他人的转变为“具身视角”。’

人脑实时自动检测模式。

耶鲁大学科学家的研究“证实了这样一个结论:视觉统计学习是自动的，也不是自动的:它需要注意力来选择相关的刺激群体，但由此产生的学习是在没有意图或意识的情况下发生的。

人类婴儿的大脑隐含地识别熟悉的模式，并对不可预测性做出反应。

来自伦敦伯克贝克大学的一组科学家报告:“我们让 2 个月、5 个月和 8 个月大的婴儿习惯于离散的视觉刺激序列，其顺序遵循统计上可预测的模式。

大脑的处理能力随着不可预测性而增强。

卑尔根大学一个团队的研究结果揭示了:“ 当预测基于统计学习时，与预测不匹配的事件会诱发早期的前向负波，这种不匹配反应的幅度与这种事件的概率成反比 。因此，我们报告了一种统计不匹配负波(sMMN ),它反映了超越听觉感觉记忆能力的过渡概率分布的统计学习

一次性学习是由响应不确定性的处理能力增加触发的。

来自加州理工学院的一组科学家的一项研究证实了一个计算假设，即“ 刺激和结果之间因果关系的不确定性导致学习速度的快速变化，这反过来又介导了增量学习和一次性学习 之间的过渡。”

AI market place 不是你要找的(电信行业)。

原文：https://towardsdatascience.com/ai-market-place-is-not-what-you-are-looking-for-in-the-telecommunication-industry-c1308d3ab379?source=collection_archive---------3-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在一个遥远的地方有一个卡达那王国。卡达那是一个幅员辽阔、居民稀少的国家。事实上，在夏天最热的日子里，温度很少超过零下 273 摄氏度，这可能是一个原因。大地很冷，但人们很温暖。

在 Kadana 有 3 家主要的电信运营商:B311、Steven’s 和 Telkad。还有 3 个地区性的:诺斯林克、索思林克和三极管。许多邻近的王国也有电信运营商，有些比卡达那的大得多。Dollartel，Southtel，Purpletel，我们都是大玩家，在那种环境下竞争的更多。

这是一个激动人心的时刻。一种叫做人工智能的新技术在其他领域开始流行，电信运营商也想从中受益。在深入我们的故事之前，了解一点这种人工智能技术是怎么回事可能会很有意思。不涉及太多的细节，我们只说传统上如果你想让一台计算机为你做一些事情，你必须给他一个由软件开发者充满激情手工制作的程序。人工智能的承诺是，从现在开始，你可以向计算机输入大量关于你想做什么的数据，它会计算出具体的条件，并提供适当的输出，而无需(大量)编程。对于那些了解人工智能的人来说，这看起来像是对该技术过于简单化(如果不是完全错误的话)的总结，但让我们暂时保持这种方式…

回到电信世界，一些有好主意的人决定创造 Akut05。Akut05 是一个结合了市场理念和人工智能技术的新产品。酷！苹果应用商店(Apple App Store)或谷歌游戏(Google Play)所展示的市场优势，以及人工智能的力量。

这太有趣了，我也想参加那个派对，我立即创建了我的公司，TheLoneNut.ai。所以现在我需要创建一个不错的人工智能模型，我可以在 Akut05 marketplace 平台上出售。

好吧，让我们不要这么快…你看，人工智能模型是根据我之前说过的数据建立的。我将使用哪些数据？这对 LoneNut.ai 公司来说只是一个小障碍……我们走出去，与运营商交谈。没人知道 TheLoneNut.ai，是个新公司，先从本地运营商说起吧。B311、Steven’s 和 Telkad 都认为我们的规模太小，不允许我们访问他们的数据。毕竟，他们的数据是一个他们应该从中受益的宝库，为什么他们会给我们访问它。然后我们去找较小的地区性公司，Northlink 也有一些兴趣。他们规模小，无法大规模投资于数据科学团队来构建良好的模型，因此，通过适当的 NDA，他们同意让我们访问他们的数据，他们将获得大量回扣，在 Akut05 上访问我们的模型。

很好！我们需要从某个地方开始。我将跳过获取数据、准备数据和构建模型过程中的所有冒险…但让我告诉你那充满了冒险。我们在 Akut05 商店中部署了一个不错的模型，它运行得非常好……有一段时间了。过了一段时间，Northlink 的用户改变了一点他们的行为，Northlink 发现我们的模型不再正确响应。他们怎么算出来的？我不知道，因为除了常规的“云”监控方法，Akut05 没有提供任何真正的模型监控功能。更令人担忧的是，我们看到 B311、Steven’s 和 Telkad 的一星评价蜂拥而至，他们尝试了我们的模型，并从 get go poor 结果中获益。我们对此无能为力，因为毕竟我们从未与那些大公司达成协议来访问他们的数据。几个星期后，在将该模型打折出售给 Northlink 后，除了所有其他运营商的负面报道，TheLoneNut.ai 破产了，我们再也没有听到它的消息。同样的事情也发生在许多其他尝试过的小模型开发者身上，很快 Akut05 商店就没有任何有价值的模型了。

因此，与应用商店相反，模型商店通常不是一个好主意。为了得到一个正确的模型(假设你可以)，你需要数据。这些数据需要来自你希望模型应用到的有代表性的例子。但这很容易，我们只需要所有的运营商同意共享数据！好吧，如果你不觉得讽刺，那祝你好运。但这是一个很好的故事，让我们抛开讽刺。我们故事中的所有操作者都决定向 Akut05 平台上的任何模型开发人员提供他们的数据。还有什么可能出错。

让我们考虑一个使用用户每月支付给运营商的费用的模型。在 Kadana 中，这个数量在数据池中以 $K A D 的形式提供，它适用于所有 K a d anian 操作者。多拉特尔尝试了一下，结果 (并不) 令人惊讶地悲惨失败。你看，在 Do ll a r t e l 的市场上，使用的货币不是$ KAD，而是一些其他货币……模型构建者，即使他有来自 Dollartel 的数据，也可能需要做“本地”调整。如果市场很小而且不完整，也就是说需要特别小心，那么一个模型还能给模型制作者带来丰厚的利润吗？否则你会得到一星评价，过一会儿又会消失。

好吧，所以 Akut05 对于独立的模型构建者来说不是一个好主意。也许 Purpletel 仍然可以使用它，purple tel 是一家大型电信运营商，可以雇佣大量的数据科学家。但在这种情况下，如果是他们的数据科学家来做这项工作，他们为什么要分享他们的数据呢？如果他们不分享自己的数据，不雇佣自己的数据科学家，为什么他们首先需要一个市场呢？

独立的模型建造者不能从模型市场中找到他们的价值，运营商也不能…电信制造商能在那里赚钱吗？为什么它比一个独立的模型建造者更有价值呢？也许它可以更容易地访问数据，但特权基本上是一样的，我敢打赌这也不会是一个胜利的市场。

好吧，因此人工智能的市场不是你正在寻找的……在下一篇文章中，我会试着说一点关于当涉及到人工智能时，你应该在电信部门寻找什么。

当然，这个故事把这个问题过于简单化了，但是，我认为我们可以抓住要点。你有不同的看法？请在下面的评论中分享它，这样我们都可以从一次愉快的讨论中学习！

原载于 2018 年 4 月 30 日【thelonenutblog.wordpress.com】。

封面照片由 Ed Gregory 在Pexels拍摄。

宣布 AI/ML 的实用性

原文：https://towardsdatascience.com/ai-ml-practicalities-bca0a47013c9?source=collection_archive---------23-----------------------

AI/ML 实用性

机器学习利益相关者的有用见解

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Photo by Fleur Treurniet on Unsplash

本系列文章:

有充分的理由，许多商业人士对机器学习(ML)既敬畏又怀疑。ML 已经取得了非常明显的成功:无人驾驶汽车，手写识别使我们几乎所有的邮件都能自动发送，机器翻译接近人类专家的水平并超过人类的速度。与此同时，无数的新闻报道承诺革命、癌症的终结、每项工作的自动化以及人类的替代，这让我们不禁好奇天网何时上线。

在我称为“AI/ML 实用性”的这一系列文章中，我将试图向非从业者揭示机器学习中涉及的一些现实和挑战，以及数据科学家用来解决这些问题的技术。我希望这些微小的见解能让非技术人员，或者至少是非 ML 技术人员，更好地评估声明和产品，消费 ML 服务，并与 ML 技术人员合作。

机器学习和数据科学生活在统计学、编程和商业的交叉点上。许多“新”概念，如特征工程和维数灾难，实际上继承了这些学科中的一个，但对于来自其他学科的人来说是新的材料。一些概念，例如集成方法，是机器学习所特有的。(特征工程、维数灾难和集成方法都是本系列将涉及的主题。)

作为一名程序员来到这个领域，我最大的惊讶与 ML 的经验主义性质有关。编程是一种确定性的活动。一旦你知道你想让计算机如何运行，实现该行为的“正确”路径就很少了，大多数变化都是由于最佳实践的应用。ML 反映了科学研究。你有一个半确定的目标。你的目标和实现目标的途径都是假设，必须经过测试、提炼和再测试。本系列中的一些文章将专门讨论这个过程。

对于经理、客户或机器学习项目的其他发起人来说，ML 的潜力似乎太好了，不容忽视。但是，让合作伙伴开发模型、信任这些模型以及管理它们的生命周期的风险是令人生畏的。

希望这个系列能让 ML 变得更加透明。

实验的循环

原文：https://towardsdatascience.com/ai-ml-practicalities-the-cycle-of-experimentation-fd46fc1f3835?source=collection_archive---------16-----------------------

AI/ML 实用性

作为一名软件开发背景的人，机器学习真正让我吃惊的一件事是它是多么的经验性。

本文是 AI/ML 实用性 系列的一部分。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

虽然机器学习项目可能乍一看很像软件开发项目，但它们的路径和结构更像科学调查。成功的项目由一系列实验组成，这些实验可能会有结果，也可能没有结果，或者激发出完全不同的研究过程，但最终都会带来有用的见解。此外，每个实验中都有一系列微型实验。

如果你计划和 ML 一起工作或者雇佣其他人来为你建立 ML 模型，了解从业者如何工作是值得的。

软件开发项目

相比之下，一个软件开发项目从这样一个问题开始，“我们如何构建 X？”建成后就结束了。在这个过程中，团队通常不得不改进 X 的定义，因为它是模糊和不完整的。但是，在成功的项目中，需求、设计和开发最终会汇聚到一些明显类似于需求的东西上。

快乐软件项目的进展是渐进的，并遵循一条非预定的路径，但它是有意识地向前推进的。这就是敏捷燃尽图受欢迎的原因。他们沿着基线路径跟踪预期不确定性的影响。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

机器学习项目

ML 模型开发(以及一般的数据科学)更有可能从这个问题开始，“我们能构建什么？”并在达到三种结果之一时停止:

已经发现了足够好的结果来发布或使用
制约因素(财政、时间、计算能力)限制了进一步的发展
努力被改变方向或完全放弃

而且，如果数据不支持，即使是具体的目标也必须让步。

机器学习模型是如何开发的

数据分析的目标是创建一个(或多个)模型，告诉我们一些关于数据的深刻见解。最典型的情况是，这意味着接受新的输入，放弃预测。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

机器学习通过告诉计算机分析一些数据并自我训练来实现这一点。更具体地说，我们将训练数据输入到学习算法中，该算法产生一个模型，该模型经过训练可以告诉我们与训练集相似的数据的有趣事情。

构建 ML 模型的数据科学工作可以大致分为三个阶段:

探索性数据分析—分析数据以确定如何使用数据
选择和配置学习算法，准备和操作数据(也称为“特征工程”)，以及运行训练算法
评估，也许，部署结果

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这个过程多次到达提议的部署阶段。在早期，评估发现了进一步探索和改进的机会。但是，即使在一个模型成功推出后，也将不断评估新数据的性能，并确定探索和改进的途径。

这个“过程”实际上是一个循环。迄今为止，它产生的训练模型实际上是一系列反映最佳假设的训练模型。

让我们来看看阶段。

探索性数据分析

没有比数据分析更能说明细节决定成败的了。

在从数据集中提取任何见解之前，必须理解数据并将其与对其所代表的领域的理解联系起来。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

从技术角度理解数据包括生成汇总统计数据、使用各种可视化策略来查看值之间的关系、制定关于数据的假设以及手动测试它们。

这种技术上的理解使分析师能够思考数据可能揭示的领域。专注于领域的探索寻找与理解业务活动相关的关系和信息。例如，如果建立一个消费者信用模型，分析师可能会钻取代表借款人偿还贷款能力的输入，并查看它们如何与支付历史以及彼此之间相关联。

数据集总是有需要解决的问题，有时需要创造性地解决。值可能会丢失、重复或看起来不正确。要批判性地思考数据，我们至少需要形成一个可以分析的形状。通常，没有单一的正确方法来解决这些问题。例如，如果消费者信用数据库缺少大量申请人的年收入或 FICO 评分，我们该怎么办？从分析中排除 FICO 和收入？假设平均值？

EDA 是一个开放式的过程。每一次进步都带来新的曙光和新的问题。修复数据问题会导致对该数据的重新分析。与业务理解的某些元素不一致的可视化提出了要问的问题，并运行实验来回答这些问题，等等。

这个过程不是自然结束，而是继续下去，直到向前发展并训练一个模型似乎比继续分析更有成效。未决问题被推迟。

特征工程和模型训练

一旦选择了训练一个模型，并且目标明确，仍然有许多工作要做。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

有许多类型的模型和训练算法可供选择。而且，大多数都是高度可配置的。例如，神经网络可以被配置成复杂程度不同的数量级。从业者知道哪些模型可能在特定问题上表现良好。但是，任何选择都是最佳猜测；一个有待验证的假设。并且，模型配置通常在一系列训练尝试中被修改多次。有时模型会被完全不同的模型所取代，甚至是扩充。

无论选择哪种模型和配置，都必须相应地准备数据，并将其处理成能使培训有效的形式。

首先，每一个输入都必须转换成某种数量。日期通常变成天数(或小时数，或分钟数，等等。)从某个时间点开始。分类值，如婚姻状况或出生城市，通常被简化为一大组标志，如已婚、单身、离婚、出生在辛辛那提、出生在巴黎等。

其次，数据必须以一种便于算法提取重要信息的方式提供。例如，如果城市的纬度和繁荣程度是进行预测的关键因素，用唯一的数字表示城市可能不够好。在准备训练时，城市甚至可以从数据集中移除，并替换为例如城市纬度和城市人均收入。

操纵数据为训练做准备被称为特性工程，这将是本系列另一篇文章的主题。简而言之，这是一种转换数据的黑暗艺术，以便其重要方面可以被训练算法消化和突出。特征工程通常被认为是机器学习周期中最关键和最耗时的部分。

对于准备训练所涉及的所有工作，模型的实际训练相对简单，因为这是计算机接管并完成其工作的时候。有几个方面使这一过程变得复杂:

与目标模型一样，训练算法也有配置选项，称为“超参数”。对于某些算法和模型，调整超参数可能需要大量的工作。
许多模型都是计算密集型的，并且许多数据集都很大。并行和优化培训是额外的工作，不容易。

既然我们已经将所有的部分放在一起，你可能会想为什么特征工程与模型训练而不是探索性的数据分析放在一起，它实际上是从那里开始的。EDA 依赖于许多相同的数据转换和操作。认为特征工程与模型训练密切相关有两个重要原因。

一些特征工程是特定于模型的。每个模型都需要或受益于其他模型不需要的转换。
模型训练和特征工程形成一个迭代循环。每次模型训练的尝试都会(希望)产生改进性能的想法。有时，改进来自于模型或训练算法配置的改变。但通常，结果会建议进一步的特征工程，即添加、移除或转换输入。

评估和部署

将任何软件部署到生产环境都是一个关键的过程。但是，对于训练一个模型所涉及的所有工作和特殊挑战，部署一个 ML 模型实际上很像一个典型的软件开发项目。

最终，模型是数据泵，就像大部分手工编码的过程。尽管有些可能很大而且难以操作，但大多数 ML 模型在生产中不会带来特殊的资源挑战。这是因为经过训练的模型通常比训练它们的算法运行速度快几个数量级。(这应该不会太意外。40 和 7 相乘需要多长时间？你花了多长时间学会乘法？)

虽然模型部署可能存在逻辑上的挑战，但这些挑战往往类似于典型软件部署的挑战。机器学习模型更独特的是它们需要的维护水平和类型。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

大多数模型是根据历史数据训练的，但是生活在一个不断产生新数据的世界中。可能与原始数据集不同的数据，表明模型可以改进或者建模的关系已经改变。例如，用于预测借款人还款表现的模型非常好，但开始下滑。

从根本上来说，这意味着模型必须不断地被评估，并且很可能被更新。因此，与其说部署是流程的终点，不如说它实际上是不断评估和改进的第三个周期的一部分。(关于这个话题有很多要说的，我会留到另一篇文章中去说。)

把所有的放在一起

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们从 ML 过程的一个天真的观点开始这篇文章:获得一些数据，运行一个训练算法，产生一个模型。任何过程的简单描述背后总是隐藏着细节，但在某种意义上，最初的描述是正确的。数据被输入产生模型的算法，然后该算法独立进行预测。

但是从某种意义上来说，这个流程图是有误导性的:机器学习开发是一个循环，而不是一个过程。其实就是周而复始的循环。这不仅仅是因为从业者发现小增量工作是有效的。这是因为 ML 开发本质上是一种经验性的活动，每个实验步骤的反馈对下一步都是至关重要的。

数据的不合理有效性

原文：https://towardsdatascience.com/ai-ml-practicalities-the-unreasonable-effectiveness-of-data-c0bfd44c5057?source=collection_archive---------20-----------------------

AI/ML 实用性

数据量通常比模型选择更重要

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

本文是 AI/ML 实用性 系列的一部分。

2006 年，美国国家科学技术研究所(NIST)举办了第五届年度机器翻译大赛。

以前的获奖者都是基于知识的系统，明确地编程来解释文档的语法和词汇，并使用对语言的类似明确理解将其转换为目标语言。

然而，那一年，谷歌凭借一个仅使用翻译文档库的自动统计分析结果将阿拉伯语和中文新闻文档翻译成英语的程序，在竞争中占据了主导地位。在 40 个竞争对手中，谷歌在 36 个类别中的 35 个类别中占据或并列第一。然而，他们的翻译程序不包含明确的语法规则或字典。事实上，开发这个程序的团队中没有人会说阿拉伯语或汉语。

这是机器学习(ML)的一个典型例子:用数据训练而不是显式编程的软件。尽管大肆宣传，但它也是 ML 强大力量的一个很好的例子，我们现在已经看到它在翻译、图像处理、搜索引擎和许多其他领域一次又一次地成功。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

数据丰富的时代

一个很好的问题是:是什么样的技术进步让我们取得了这样的成果？

虽然几乎每一项技术进步都有一些解释:更快的计算机、更便宜的存储和理论进步，但 AI/ML 的一个具体驱动因素是数据可用性的大幅增加。在过去的 30 年里，我们比以往任何时候都更快地编目和创建数据。一个影响是显而易见的:关于事物的数据越多，可以分析的东西就越多。但是，数据的增长也产生了更深刻、更微妙的影响，这就是所谓的“数据的不合理有效性”。

肌肉还是大脑？

为了理解这种影响，请考虑微软在 2001 年做的一个实验。研究人员进行了一项并行测试，以评估 4 种不同的 ML 翻译方法的优点。他们用相同的输入数据从头开始训练每个模型，用从 10 万到 10 亿字的不同数据集规模进行了一系列试验。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

资料来源:Banko，m .和 Brill，E. (2001)，“扩展到非常非常大的自然语言消歧语料库”

如上图所示，他们发现用于训练模型的数据集的大小远比 ML 方法的选择更重要。而且，随着数据集变大，模型之间的性能差异变得非常小。

事实上，这就是谷歌在 2006 年赢得自动翻译竞赛的原因。他们比任何人都更容易获得正确的阿拉伯语到英语和汉语到英语的翻译(即训练数据)，因为谷歌刚刚花了 8 年时间对互联网进行编目。

从实践的角度来看，关键的经验是，更多的数据几乎总是更好，而且“更多”可以用数量级来衡量。遗憾的是，我们并不总是能够选择需要处理多少数据。但是，我们总是需要考虑数据集的大小。而且，正如我将在以后的文章中提到的，通常有一些巧妙的技巧和权衡来改善这种情况。

仅供技术人员使用，因为微软的术语已经过时:

“基于记忆”的学习(又名“基于实例”的学习)记住所有的数据点，并根据最接近的数据点进行预测。本质上，它假设目标函数是局部常数。k-最近邻就是一个例子。
“Winnow”是感知器的早期替代公式，但没有非线性激活，只有二进制输入。这个名字来源于它能够快速消除(剔除)无用的输入，这对于计算能力有限的大型功能集非常有用。
感知器和朴素贝叶斯应该很熟悉。

人工智能规划历史发展

原文：https://towardsdatascience.com/ai-planning-historical-developments-edcd9f24c991?source=collection_archive---------4-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Photo by Possessed Photography on Unsplash

在这篇文章中，我将考察人工智能规划研究领域的三大进展。对于每个开发，我将提供原始论文的简短摘要以及适当的例子来演示几个用例。我将首先描述一个通用的框架，STRIPS，在这个框架下所有的规划问题都可以被公式化。然后，我将研究在 STRIPS 公式下工作的两种最先进的算法。GraphPlan 算法不是从一开始就贪婪地搜索解决方案，而是构造一个可用于获得解决方案的规划图对象。规划图对象还可以用于对 STRIPS 框架中指定的任何规划问题进行自动化启发式搜索。最后，我将研究一种算法，它使用启发式搜索规划器来自动产生有效的启发式搜索。最终算法获得了 1998 年 AIPS98 规划竞赛的冠军。

发展 1:条(1971 年)

1971 年，斯坦福研究所的 Richard Fikes 和 Nils Nilsson 开发了一种在问题解决中应用定理证明的新方法[1]。该模型试图在世界模型空间中找到一系列操作符，以将初始世界模型转换成目标状态存在于其中的模型。它试图将世界建模为一组一阶谓词公式，旨在处理由大量公式组成的模型。

在 STRIPS 公式中，我们假设存在一组将世界模型转换成其他世界模型的适用算子。问题求解器的任务是找到一系列操作符，将给定的初始问题转化为满足目标条件的问题。运算符是构建解决方案的基本元素。每个操作符对应一个动作例程，例程的执行会导致代理采取某些动作。在 STRIPS 中，定理证明和搜索的过程通过世界模型的空间分离。

从形式上讲，条带的问题空间是由初始世界模型、一组可用操作符及其对世界模型的影响以及目标陈述来定义的。可用的操作符被分组到称为模式的系列中。每个操作符由两个主要部分组成的描述定义:操作符具有的效果和操作符适用的条件。据说当 STRIPS 生成一个满足目标声明的世界模型时，问题就解决了。

现在让我们考虑一个使用计划搜索代理将 STRIPS 语言应用于航空货物运输系统的例子。假设我们有一个初始状态，货物 1 在 SFO，货物 2 在 JFK，飞机 1 在 SFO，飞机 2 在 JFK。现在，假设我们想要制定一个最优计划，将货物 1 运输到 JFK，将货物 2 运输到 SFO。总结这个问题描述，我们有:

Init(At(C1, SFO) ∧ At(C2, JFK) ∧ At(P1, SFO) ∧ At(P2, JFK) ∧ Cargo(C1) ∧ Cargo(C2) ∧ Plane(P1) ∧ Plane(P2) ∧ Airport(JFK) ∧ Airport(SFO)) Goal(At(C1, JFK) ∧ At(C2, SFO))

我们可以编写一个函数，将这个公式正式定义如下:

def air_cargo_p1() -> AirCargoProblem:
    cargos = ['C1', 'C2']
    planes = ['P1', 'P2']
    airports = ['JFK', 'SFO']
    pos = [expr('At(C1, SFO)'),
           expr('At(C2, JFK)'),
           expr('At(P1, SFO)'),
           expr('At(P2, JFK)'),
           ]
    neg = [expr('At(C2, SFO)'),
           expr('In(C2, P1)'),
           expr('In(C2, P2)'),
           expr('At(C1, JFK)'),
           expr('In(C1, P1)'),
           expr('In(C1, P2)'),
           expr('At(P1, JFK)'),
           expr('At(P2, SFO)'),
           ]
    init = FluentState(pos, neg)
    goal = [expr('At(C1, JFK)'),
            expr('At(C2, SFO)'),
            ]
    return AirCargoProblem(cargos, planes, airports, init, goal)

AirCargoProblem 类将按如下方式初始化:

class AirCargoProblem(Problem):
    def __init__(self, cargos, planes, airports, initial: FluentState, goal: list):
        """:param cargos: list of str
            cargos in the problem
        :param planes: list of str
            planes in the problem
        :param airports: list of str
            airports in the problem
        :param initial: FluentState object
            positive and negative literal fluents (as expr) describing initial state
        :param goal: list of expr
            literal fluents required for goal test
        """
        self.state_map = initial.pos + initial.neg
        self.initial_state_TF = encode_state(initial, self.state_map)
        Problem.__init__(self, self.initial_state_TF, goal=goal)
        self.cargos = cargos
        self.planes = planes
        self.airports = airports
        self.actions_list = self.get_actions()

我们使用 get_actions 方法来实例化所有可以作用于状态的 action/operator 对象的列表。在这个空运货物问题上，我们可以采取三种行动:装货、卸货和飞行。get_actions 类方法收集了所有这些可能的操作。

为了定义可以作用于某个状态的操作符，我们可以定义 actions 类方法如下:

def actions(self, state: str) -> list:
 """ Return the actions that can be executed in the given state.:param state: str
 state represented as T/F string of mapped fluents (state variables)
            e.g. 'FTTTFF'
        :return: list of Action objects
        """
        # TODO implement
        possible_actions = []
        kb = PropKB()
        kb.tell(decode_state(state, self.state_map).pos_sentence())
        for action in self.actions_list:
              is_possible = True
              for clause in action.precond_pos:
                if clause not in kb.clauses:
                    is_possible = False
              for clause in action.precond_neg:
                if clause in kb.clauses:
                    is_possible = False            
              if is_possible:
                possible_actions.append(action)

        return possible_actions

动作方法通过检查动作的前提条件是否在由输入状态指定的子句集中，有效地输出可能动作的列表。我们还需要定义一个方法来将一个动作应用到一个给定的状态。在状态 s 中执行动作 a 的结果被定义为状态s’，其由从 s 开始形成的一组流来表示，移除在动作效果中表现为负文字的流，并添加在动作效果中为正文字的流。

def result(self, state: str, action: Action):
        """ Return the state that results from executing the given
        action in the given state. The action must be one of
        self.actions(state).:param state: state entering node
        :param action: Action applied
        :return: resulting state after action
        """
        # TODO implement
        new_state = FluentState([], [])
        old_state = decode_state(state, self.state_map)

        for fluent in old_state.pos:
            if fluent not in action.effect_rem:
                new_state.pos.append(fluent) # add positive fluents which are in the old state and should not be removed

        for fluent in action.effect_add:
            if fluent not in new_state.pos:
                new_state.pos.append(fluent) # add positive fluents which should be added and have not already been added

        for fluent in old_state.neg:
            if fluent not in action.effect_add:
                new_state.neg.append(fluent) # add negative fluents which are in the old state and should not be added

        for fluent in action.effect_rem:
            if fluent not in new_state.neg:
                new_state.neg.append(fluent) # add negative fluents which should be removed but have not already been removed from the negative state

        return encode_state(new_state, self.state_map)

最后，我们需要定义目标测试方法，该方法提供一个布尔值来指示目标状态是否得到满足。

def goal_test(self, state: str) -> bool:
        """ Test the state to see if goal is reached:param state: str representing state
        :return: bool
        """
        kb = PropKB()
        kb.tell(decode_state(state, self.state_map).pos_sentence())
        for clause in self.goal:
            if clause not in kb.clauses:
                return False
        return True

这个类提供了一个 STRIPS 公式的例子。特别是，我们已经指定了初始状态、目标状态和一组指定前提条件和后置条件的动作。此计划例程的计划是一系列操作符，可以从初始状态开始执行并导向目标状态。我们可以使用级数搜索算法来形成这个示例问题的最佳计划。在这个问题上使用广度优先搜索，最佳计划将是装载(C2，P2，JFK)，装载(C1，P1，旧金山)，飞行(P2，JFK，旧金山)，卸载(C2，P2，旧金山)，飞行(P1，旧金山，肯尼迪)，卸载(C1，P1，肯尼迪)。

发展 2:规划图表(1997 年)

1997 年，卡内基梅隆大学的 Avrium Blum 和 Merrick Furst 开发了一种在条状域中进行刨削的新方法[2]。它包括构建和分析一个全新的对象，称为规划图。他们开发了一个叫做 GraphPlan 的例程，该例程使用规划图构造来获得规划问题的解决方案。

这个想法是，我们首先创建一个规划图对象，而不是贪婪地搜索。规划图是有用的，因为它固有地显式编码有用的约束，从而减少未来的搜索开销。规划图可以在多项式时间内构造，并且具有多项式大小。另一方面，状态空间搜索是指数级的，需要做更多的工作。规划图不仅基于领域信息，还基于问题的目标和初始条件以及时间的明确概念。

规划图具有与动态规划问题解决程序相似的特性。GraphPlan 算法使用规划图来指导其对计划的搜索。该算法保证找到最短的计划(类似于 BFS)。

规划图中的边表示动作和命题之间的关系。如果条带公式中存在有效的计划，则该计划必须作为计划图的子图存在。规划图的另一个基本特征是指定互斥关系。如果没有有效的计划可以同时包含两个动作，则两个动作是互斥的；如果没有有效的计划可以使两个动作同时为真，则两个状态是互斥的。排除关系在整个图中直观地传播关于问题的有用事实。

GraphPlan 算法对规划图的操作如下:从仅编码初始条件的规划图开始。在阶段 i， GraphPlan 从状态 i-1 获取规划图，并将其扩展一个时间步长，然后在扩展的规划图中搜索长度为 i 的有效规划。如果它找到一个解决方案，那么它停止，否则它继续下一个阶段。该算法找到的任何计划都是合法的计划，并且如果存在计划，它总是会找到计划。该算法还具有大多数规划者不提供的终止保证。

现在让我们构建一个基本的规划图对象，并用它来解决上面的空运货物问题。为了缩短本文的篇幅，我省略了底层的实现细节。和往常一样，代码存放在我的 GitHub 上。我们将结构初始化如下:

class PlanningGraph():
    """
    A planning graph as described in chapter 10 of the AIMA text. The planning
    graph can be used to reason about 
    """def __init__(self, problem: Problem, state: str, serial_planning=True):
        """
        :param problem: PlanningProblem (or subclass such as AirCargoProblem or HaveCakeProblem)
        :param state: str (will be in form TFTTFF... representing fluent states)
        :param serial_planning: bool (whether or not to assume that only one action can occur at a time)
        Instance variable calculated:
            fs: FluentState
                the state represented as positive and negative fluent literal lists
            all_actions: list of the PlanningProblem valid ground actions combined with calculated no-op actions
            s_levels: list of sets of PgNode_s, where each set in the list represents an S-level in the planning graph
            a_levels: list of sets of PgNode_a, where each set in the list represents an A-level in the planning graph
        """
        self.problem = problem
        self.fs = decode_state(state, problem.state_map)
        self.serial = serial_planning
        self.all_actions = self.problem.actions_list + self.noop_actions(self.problem.state_map)
        self.s_levels = []
        self.a_levels = []
        self.create_graph()

create_graph 方法如下:

def create_graph(self):
        """ build a Planning Graph as described in Russell-Norvig 3rd Ed 10.3 or 2nd Ed 11.4The S0 initial level has been implemented for you.  It has no parents and includes all of
        the literal fluents that are part of the initial state passed to the constructor.  At the start
        of a problem planning search, this will be the same as the initial state of the problem.  However,
        the planning graph can be built from any state in the Planning ProblemThis function should only be called by the class constructor.:return:
            builds the graph by filling s_levels[] and a_levels[] lists with node sets for each level
        """
        # the graph should only be built during class construction
        if (len(self.s_levels) != 0) or (len(self.a_levels) != 0):
            raise Exception(
                'Planning Graph already created; construct a new planning graph for each new state in the planning sequence')# initialize S0 to literals in initial state provided.
        leveled = False
        level = 0
        self.s_levels.append(set())  # S0 set of s_nodes - empty to start
        # for each fluent in the initial state, add the correct literal PgNode_s
        for literal in self.fs.pos:
            self.s_levels[level].add(PgNode_s(literal, True))
        for literal in self.fs.neg:
            self.s_levels[level].add(PgNode_s(literal, False))
        # no mutexes at the first level# continue to build the graph alternating A, S levels until last two S levels contain the same literals,
        # i.e. until it is "leveled"
        while not leveled:
            self.add_action_level(level)
            self.update_a_mutex(self.a_levels[level])level += 1
            self.add_literal_level(level)
            self.update_s_mutex(self.s_levels[level])if self.s_levels[level] == self.s_levels[level - 1]:
                leveled = True

互斥方法留给读者作为练习。规划图的另一个应用是启发式评估。我们可以从状态 s 估计实现任何子目标的成本，作为目标第一次出现在规划图中的级别。如果我们假设所有的子目标都是独立的，我们可以简单地将总目标成本估计为规划图中给出的子目标成本的总和。该启发式算法将在计划图类中实现，如下所示:

def h_levelsum(self) -> int:
        """The sum of the level costs of the individual goals (admissible if goals independent):return: int
        """
        level_sum = 0
        goals = [PgNode_s(g, True) for g in self.problem.goal]
        # for each goal in the problem, determine the level cost, then add them together
        for g in goals:
            if g not in self.s_levels[-1]:
                # the problem is unsolvable
                print('Unsolvable')
                level_sum = float('inf')
                break
            else:
                for level, s in enumerate(self.s_levels):
                    if g in s:
                        level_sum += level
                        break
        return level_sum

我们可以在 AirCargoProblem 类中调用此方法，如下所示:

def h_pg_levelsum(self, node: Node):
        """This heuristic uses a planning graph representation of the problem
        state space to estimate the sum of all actions that must be carried
        out from the current state in order to satisfy each individual goal
        condition.
        """
        # requires implemented PlanningGraph class
        pg = PlanningGraph(self, node.state)
        pg_levelsum = pg.h_levelsum()
        return pg_levelsum

使用这种启发式算法，我们可以使用 A算法非常有效地解决复杂的规划问题。我用几种试探法考虑了更复杂的规划问题，发现 level_sum 试探法明显优于(在时间和空间复杂性方面)所有标准搜索算法，包括带有宽松问题试探法的 A。

发展 3:启发式搜索规划(HSP) (1998)

HSP 基于启发式搜索的思想。启发式搜索提供了到目标的距离的估计。在领域独立规划中，启发法需要从行动和目标的表示中导出。推导启发式函数的一个常见方法是求解问题的一个宽松版本。主要的问题是，通常放松问题启发式计算是 NP 难的。

相反，HSP 算法估计松弛问题的最优值。该算法通过从条带编码中自动提取启发式信息，将问题转化为启发式搜索。

该算法迭代地工作，通过动作产生状态，这些动作的前提条件在前一个状态集合中[3]。每次应用一个动作时，一个度量 g 被更新，其目的是估计实现一个子目标所涉及的步骤的数量。例如，假设 p 是一个子目标。我们将 g 初始化为零，然后当应用具有前提条件的动作 C = r_1，r_2，…，r_n 时，我们更新 g 如下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

可以看出，上面解释的过程等效于计算函数:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

其中 C — > P 代表断言 p 且有前提条件 C = r_1，r_2，…，r_n 的动作。那么如果我们让 G 成为目标状态的集合，最终的启发式函数将如下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

请注意，我们假设所有子目标都是独立的，这可能是启发式算法不可接受的情况:这通常在实践中效果很好。这种 HSP 方法是有用的，因为它允许我们将启发式计算推广到任何一般的 STRIPS 问题公式。

结论

本文讨论的发展构成了人工智能规划领域的三大进步。STRIPS 公式为研究人员提供了一个通用框架，从这个框架可以构建更高级的语言。规划图结构是一种革命性的数据结构，它为最优规划技术提供了一个全新的视角。最后，HSP 算法给出了一种自动的方法来确定一般规划问题的启发式算法。

这就是所有人——如果你已经做到了这一步，请在下面评论并在 LinkedIn 上加我。

我的 Github 是这里的。

参考

[1] 纸条

[2] GraphPlan 论文

[3] HSP 论文

AI 用神经网络玩沥青。

原文：https://towardsdatascience.com/ai-plays-asphalt-using-neural-network-40a58c015189?source=collection_archive---------6-----------------------

使用 Tensorflow，我制作了一个使用卷积神经网络玩沥青的人工智能。它基于行为克隆。

什么是神经网络，它是如何工作的？

简单地说，我们可以说神经网络是一个模仿人脑的计算机系统。类似于树突(神经元)，神经网络接受几个输入并给出单个输出，在我们的情况下，它从游戏中获取一帧图像，并预测是否按下 W，A 或 d。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

A Neural Networks.

输入被传递给一个数学函数，该函数给出一个确定的输出。但这里的问题是，我们不知道函数内部的表达式(权重)一定是什么，这就是机器学习的闪光之处**。**

了解更多信息

反向传播

使用反向传播我们可以解决这个问题。最初，函数中的权重是随机的，但这是随着时间的推移而优化的。反向传播采用模型预测的输出和应该预测的实际输出，并稍微改变函数，使得预测的输出与神经网络中所需的输出相匹配。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Backpropagation

卷积神经网络

卷积神经网络(CNN)是一种特殊的神经网络，主要用于发现图像和视频中的模式。观看此视频，更好地理解这个概念。

获取训练数据

对于所有执行特定任务的神经网络模型，我们需要在一些数据中训练模型。这里所有需要的数据是图像的帧和该帧上相应的击键。数据存储在 CSV 文件中。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Training Data

图像被降低到灰度级并被裁剪以仅具有所需的信息作为训练数据。并且为了增加训练数据，图像被镜像，并且对于左和右图像数据，方向被反转。

训练网络

然后，该模型根据该数据进行训练，并使用反向传播算法随着时间的推移进行改进。最初，权重是随机的，并且来自模型的预测是相当随机的。根据我们已经提供的输出，在每次预测之后优化权重。

链接到项目

github:https://github.com/Sampanna-Sharma/Self-driving-Car

灵感

这个项目的灵感来自 Sentdex 的 python plays GTA 和 Siraj Raval 的 how to simulate self-driving car。

人工智能政策制定第 4 部分:公平和负责任的 ML 和人工智能入门

原文：https://towardsdatascience.com/ai-policy-making-part-4-a-primer-on-fair-and-responsible-ml-and-ai-28f52b32190f?source=collection_archive---------15-----------------------

*偏见。歧视。不平等。不公平。不负责任。不道德。不公平。*所有这些术语是如何与机器学习(ML)和人工智能(AI)联系在一起的？在这篇文章中，我将讨论对决策者和政策制定者来说至关重要的三个主题——人工智能和人工智能的公平、责任和透明度(或可解释性)。

O 你今天的生活正被算法所统治，其中大部分对我们来说是一个神秘的黑匣子。人们意识到，只有在公平和透明的情况下，自动决策(自治系统)才会被接受。许多媒体文章、书籍以及智库和书籍的研究报告提高了人们对不公平和不道德的人工智能和算法伦理的认识。

第二个问题是:我们是否在以负责任的方式使用人工智能和人工智能，这种方式以人类为中心，并将造福于所有人类？它会让少数掌握技术的强大企业和政府受益吗？人工智能会让我们的世界变得更加不平衡、不平等、更加危险吗？

第三件事是使 ML 模型足够透明，以便当事情没有按照预期发展时，我们可以找出发生了什么，并通过改进算法和允许添加人类判断来尝试修复它。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Source: [2] — [4]

人工智能和人工智能中的空气质量是一个非常活跃的研究领域，有许多相互竞争的理论。这篇文章的目的是为决策者和政策制定者介绍 ML 和 AI 中的公平性，并提供关于测量、避免和减轻偏见的有用建议。

ML 中偏差的定义:无意中的偏差或歧视，或者通过不适当的设计，或者通过在建立偏差的数据中隐含编码偏差。公平机器学习旨在确保由算法指导的决策是公平的。

这不仅仅是一种避免麻烦的方式(谷歌如何处理其产品中的性别偏见)——它将为人类带来更好的模式和更好的结果。因为这是一本入门书，所以我不会深究技术细节，而是提供对该主题进行全面论述的参考文献。

AI Now Institute 在这个话题上做了出色的工作，我强烈鼓励对这个话题感兴趣的读者去看看他们的 2018 年报告。也看看世界顶级科技公司(谷歌、IBM、微软)是如何通过教育、工具和技术来解决这个问题的[7] — [10]。

最大似然偏差的几个例子

犯罪风险评分偏差 — ProPublica
当你的老板是一个算法师 — NYT
Joy Buolamwini 的性别阴影项目

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

QZ.com Article

为了深入了解概况和历史背景，我向你推荐 AI Now 研究员凯特·克劳福德(Kate Crawford)的 2017 年 NIPS 主题演讲视频。

Kate Crawford — NIPS 2017 Keynote

偏见和歧视的根源

人工智能和人工智能中的偏差可能是由于糟糕的设计、有偏差的信息(数据)来源或无意中被编码到我们的数据、算法中的人为偏差，或者两者都有。

数据偏差

数据是任何人工智能和人工智能工作的基础，也是许多偏见和公平问题的起点。

数据→包括过去的人为偏见→输入模型

人工智能(AI)在所有行业所有类型的业务职能中的引入将加速和扩大。尽管如此，人工智能仍将受到其从虚假信息中可靠辨别真实内容的能力的限制。— Gartner。

根据[11]的数据，有三个主要的偏差领域:

标签偏差—观察到的成为数据，例如逮捕而不是犯罪
亚组有效性——特征的预测能力因组而异
代表性-训练数据是否代表总体？我们有偏斜的样本吗？是否存在样本量差异？功能限制。例如，训练数据中地理多样性的缺乏将影响从更广泛的一组位置提取的图像的分类性能。

作者指出了社会上两个众所周知的歧视概念:

经济因素:有两个:第一，统计因素(例如，因为男性开车，所以向他们收取更多的保险费)。第二，基于品味(牺牲利润以避免某些交易，通常是出于无知)
法律:基于动机(例如基于分类的平等保护原则)

算法设计中的偏差

Sam Corbett-Davies 和 Sharad Goel [11]回顾了三种常见的 ML 公平性测量模型。

(1)反分类，意味着受保护的属性——如种族、性别和它们的代理——没有明确地用于决策；

(2)分类奇偶性，意味着预测性能的普通度量(例如，假阳性和假阴性率)在由受保护属性定义的组之间是相等的；和

(3)校准，意味着以风险估计为条件，结果独立于受保护的属性。

提出的定义是作为衡量公平性的可能方式。然而，关于这些测量的缺点存在争议(例如，这些定义彼此不相容),一些研究人员认为这些定义实际上会加剧偏倚问题。斯坦福大学的 Sam Corbett-Davies 和 Sharad Goel 认为，所有这三个公平定义都存在显著的统计局限性。在许多情况下，基于阈值的风险估计是更好的选择。这种方法意味着“基于人们所能产生的最精确的风险统计估计，以相似的方式对待相似的风险人群。”

外部性的影响——群体与个人选择

外部性和均衡效应有时会被忽略，但在某些情况下它们很重要。

有些决定最好被认为是集体的而不是个人的选择。在大学招生中，多样化的学生群体可能有利于整个机构，在申请者之间建立相互依存关系。预测算法也会产生反馈循环，导致意想不到的后果。

负责任的 AI

负责任的人工智能是一个广义的术语，旨在描述符合道德规范、具有包容性(而不是社会特权群体独有的)、不伤害社会(没有武器化)并把社会福祉放在首位和中心的人工智能。大多数国家级人工智能政策和战略都强调这一点。

隐私是伦理和负责任的人工智能的一部分。ML powered 在过去几年中在面部识别方面取得了重大进展，引起了包括算法正义联盟在内的许多人对隐私、数据所有权和公平性的担忧。

[## 面部识别技术旨在识别善恶

面部识别正在成为主流。这项技术越来越多地被执法机构和学校使用…

www.wsj.com](https://www.wsj.com/video/series/moving-upstream/facial-recognition-tech-aims-to-identify-good-and-evil/0C19B7EA-D8FC-4AF1-8FC3-EEAA1FD9F2B4)

加拿大和法国率先在 2018 年夏天发布了一份联合声明。他们成立了一个独立的专家组，该专家组将“汇集来自政府的专家、国际公认的科学家以及来自工业界和民间社会的代表。”

近来，负责任的人工智能的话题越来越受到关注，多个团体正在全球范围内领导这些努力。下面提到了两个高质量的工作，并链接到他们的综合工作。

蒙特利尔宣言正式提出了负责任人工智能的愿景。
欧盟道德与可信赖人工智能报告草案，2018 年 12 月。

可解释性、透明度和信任

一个可解释的人工智能是其行为能被人类容易理解的人工智能。它与机器学习中的“黑匣子”概念形成对比，黑匣子意味着复杂算法工作的“可解释性”，在这种情况下，即使是它们的设计者也无法解释为什么人工智能会做出特定的决定。

在人工智能有多“聪明”和它有多透明之间经常存在权衡，随着人工智能系统内部复杂性的增加，这些权衡预计会变得更大。

由于显而易见的原因，这是一个非常活跃的研究领域，Darpa 已经为此分配了大量资金[18]。

我们从决策树到随机森林。

应该能够审计算法和数据。记住上面关于使用哪种度量的讨论！

什么时候应该依赖算法？可以观察到错误，反馈可靠、快速且可行。—尼科斯·萨瓦，London.edu

这是看待它的一种方式

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Source: DARPA Explainable AI

另一个是直觉。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

DARPA, Nautil.us

ML 的可解释性和可解释性是一个很大的话题，所以我建议你参考[17]-[20]了解细节。

反驳点:如果人们知道模型或算法工作的所有方式，他们会尝试游戏系统吗？

减轻 ML 和 AI 中的偏见和不信任

你可以采取哪些切实可行的措施来避免和减轻偏见？

提高认识
问一些尖锐的问题
集合不同专家
专家审核数据和算法
创建人工审查流程

多元化和多个利益相关方

拥有一个多元化的利益相关者群体应该是任何国家人工智能政策的重要组成部分。

https://www.ajlunited.org/

你需要留出时间和资源，让一个全面的专家小组(不仅仅是技术专家)从多个角度审视整个链条。

偏差清单

以下是我对偏见的快速回顾列表——这并不是一个全面的资源，而是一个起点。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

关键要点

公平，道德，负责任和可解释的 ML 和 AI 终于得到了应有的重视。正如技术造成的其他重大破坏一样，解决这些挑战需要时间。这篇文章描述了这个主题的一个非常简短的、非技术性的介绍。下面的参考资料提供了大量的细节和材料的附加链接。正如任何活跃的研究领域一样，这里还没有包括更多的资源——主要是因为我的时间有限。然而，如果我错过了一些应该在邮件中的东西，请让我知道。

参考文献:

[1]尼科斯·萨瓦。领导者的教训和局限。伦敦商学院，2017 年 11 月。https://www . London . edu/faculty-and-research/lbsr/algorithmic-ethics-lessons-and-limits-for-business-leaders

[2]凯西·奥尼尔。数学毁灭武器:大数据如何增加不平等并威胁民主。百老汇图书，2017 年 9 月。

[3]威尔·奈特。人工智能核心的黑暗秘密——麻省理工科技评论，2018 年。https://www . technology review . com/s/604087/the-dark-secret-at-the-heart-of-ai/

[4]弗吉尼亚·尤班克斯。自动化不等式。圣马丁出版社，2018 年 1 月。

[5] AI Now Institute:一个研究人工智能社会意义的研究机构，https://ainowinstitute.org/。2018 年报道https://ainowinstitute.org/AI_Now_2018_Report.pdf

[6] Dave Gershgorn ，如果 AI 要做世界医生，它需要更好的教科书，2018 年 9 月 6 日。石英https://qz . com/1367177/if-ai-is-to-be-the-world-s-doctor-it-needs-better-textbooks/

[7]谷歌开发者:机器学习公平性https://Developers . Google . com/Machine-Learning/Fairness-overview/

[8]Google 的“假设”工具(PAIR initiative)。【https://pair-code.github.io/what-if-tool/】https://ai . Google blog . com/2018/09/the-what-if-tool-code-free-probing-of . html，

[9] IBM 公平 360https://www.ibm.com/blogs/research/2018/09/ai-fairness-360/

[10]微软公平决策机器学习https://www . Microsoft . com/en-us/research/blog/Machine-Learning-for-Fair-Decisions/

[11]科比特-戴维斯，萨姆，戈埃尔，沙拉德(2018)。公平的测量和错误测量:公平机器学习的评论。https://arxiv.org/pdf/1808.00023.pdf

[12] Agarwal，a .，Beygelzimer，a .，Dud k，m .，Langford，j .，Wallach，H. (2018 年)。公平分类的简化方法。机器学习国际会议。

[13] Angwin，j .，Larson，j .，Mattu，s .，和 Kirchner，L. (2016 年)。机器偏见:全国各地都有用来预测未来罪犯的软件。而且对黑人有偏见。ProPublica。

[14]关于机器学习公平性的教程，作者钟子元 https://towardsdatascience . com/A-Tutorial-on-Fairness-in-Machine-Learning-3ff 8 ba 1040 CB

15《负责任的大赦国际蒙特利尔宣言》。2017 年 11 月。https://www . Montreal declaration-responsible ai . com/the-declaration

[16]欧盟关于道德和可信人工智能的报告草案，2018 年 12 月。https://EC . Europa . eu/futurium/en/system/files/ged/ai _ hleg _ draft _ ethics _ guidelines _ 18 _ December . pdf

[17]地面 AI。可解释的人工智能https://www . ground ai . com/project/可解释的人工智能理解可视化解释深度学习模型/

[18]大卫·冈宁，《可解释的人工智能》(XAI)。https://www . cc . gatech . edu/~ Alan wags/dlai 2016/(Gunning)% 20IJCAI-16% 20 dlai % 20ws . pdf

[19]克里斯托夫·莫尔纳尔*，*可解释的机器学习——让黑盒模型变得可解释的指南。https://christophm.github.io/interpretable-ml-book/

[20] Zelros AI 机器学习模型可解释性简史https://medium . com/@ zel ROS/A-Brief-History-of-Machine-Learning-Models-explability-f1c 3301 be 9 DC

预测用电量的人工智能能源框架

原文：https://towardsdatascience.com/ai-powered-energy-framework-for-forecasting-electricity-consumption-ebf4ecbc49f7?source=collection_archive---------14-----------------------

电是一种重要的能量形式，不能以物理方式储存，通常在需要时产生。在大多数研究中，主要目的是确保产生足够的电力来满足未来的需求。为了避免浪费或短缺，需要设计一个良好的系统来持续保持所需的电力水平。有必要估计独立因素，因为未来电量不仅基于当前净消费量，还基于独立因素。在这项研究中，提出了一个新的框架，首先使用 SARIMA(季节性自回归迭代移动平均)方法和 NARANN(非线性自回归人工神经网络)方法来估计未来的独立因素，这两种方法都称为“预测情景方法”，如下图 1 所示。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 1: The flow chart of the new framework for forecasting net electricity consumption.

随后，基于这些情景，应用 LADES(LASSO-based adaptive evolutionary simulated annealing)模型和 RADES(ridge-based adaptive evolutionary simulated annealing)模型对未来净用电量进行预测。然后通过土耳其的案例研究验证了所提出的方法。实验结果表明，与以前的方法相比，我们的方法优于其他方法。最后，结果表明 NEC 可以被建模，并且它可以被用来预测未来的 NEC(见图 2)。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 2: Scattering and distribution graphics of training and testing level, respectively, for the best energy model.

在现代生活中，预测对于有效应用能源政策极其重要。政府需要知道必须生产多少电力来满足能源需求和消耗。在土耳其，用于预测的 NEC(净耗电量)是从 MENR 的 MAED 模拟技术中正式获得的，预测误差很大。预测需要指导 MENR 制定最佳能源政策。

本研究的主要结论是土耳其的电力消费被建模为具有线性和二次行为的新能源模型。新能源模型的使用形式使得未来预测成为可能。我们还介绍了替代预测方法的重要性。改进了文献中假设独立因素随时间以恒定增长率增加的情景，以便通过在预测情景方法中使用 SARIMA 方法和 NARANN 方法来预测独立因素的未来值。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 3: Monthly forecasting of the NEC with two scenarios between 2011 and 2020.

根据本研究中到目前为止呈现的结果和讨论，预计 NEC 将通过使用提议的方案和最佳能源模型(见上图 3)来展示该框架如何适用于未来。提出的最佳模型以 1.59%的平均 MAPE 误差率预测了土耳其 34 年的电力消费，而 MENR 预测某些年份的误差率超过 10%。这意味着土耳其政府和相关组织可以使用这一框架来预测未来的价值，以确保良好的未来规划。这些模型也可以在不同的国家使用。通过研究未来价值，可以制定新的规划策略。政策制定者可以利用这一框架来规划新的投资和确定适当的进出口额。此外，新能源模型可以通过使用不同的误差评估标准来定义(例如 SSE、MAE、MAPE 等)。)作为改进模型的目标函数。可以开发混合技术的新能源模型来进行更好的研究。

总之，在土耳其和其他国家，对能源需求预测不足经常导致电力短缺和停电。这阻碍了经济的发展，并给普通公民带来烦恼和不便。通过预测实际能源需求，这项研究中提出的模型将有助于避免这些停电，从而使土耳其能够更快地发展，并提高其公民使用电力的生活质量。

想了解更多关于这项研究的信息，请点击下面的链接。

http://www . academia . edu/19744765/A _ new _ forecasting _ framework _ for _ volatile _ behavior _ in _ net _ electricity _ consumption _ A _ case _ study _ in _ Turkey

人工智能对 2019 年的预测

原文：https://towardsdatascience.com/ai-predictions-for-2019-610b8de56aad?source=collection_archive---------21-----------------------

2019 年将是人工智能的分水岭

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

人工智能，具体来说，机器学习和深度学习，已经成为 2018 年的时尚关键词，我们不认为炒作会在未来几年内消退。从长远来看，人工智能最终将成为日常新闻，成为另一种驱动我们生活的技术，就像“互联网”、“电力”和“可燃引擎”一样。

然而在接下来的几年里，激动人心的技术突破将改变我们的生活、经营和管理社会的方式。人工智能有望带来前几次技术革命中我们做梦都想不到的变化。与过去不同，人工智能驱动的机器将做分析、规划、预测和决策的“思考”工作，为我们一直认为是为人类保留的新角色做出贡献。

我们仍然不确定人工智能是否最终会导致一个“星际迷航”般的社会，让人类自由地度过他们的生活，追求更有意义的目标。然而，许多人相信人工智能将导致大规模失业和社会动荡，最终导致天网式的人类灭绝。虽然我没有遥远未来的水晶球，但以下是我对 2019 年的预测。

人工智能将加速所有权社会的终结

我不再拥有我的音乐 CD 或电影 DVD，我们订阅了 Spotify 或网飞。在人们购买的日常产品中，音乐和视频可能是标志着所有权时代结束的第一批产品。今天，人工智能平台正在将每一种制造产品和服务转变为互联的“智能”产品。我们已经在交通和消费电子产品中看到了这一点——汽车、滑板车、洗衣机、咖啡机、恒温器等。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 1. AI will accelerate the trend of subscription-based sharing of goods and services. Credit: Pinsnaper

由从智能产品捕获的数据驱动；AI 算法和新的商业模式，结束所有权的趋势将加速所有行业、产品或服务。我们开始订阅办公空间( WeWork )、住房(漫游、普通)、家具( Fernish )、服装( Le Tote )甚至遛狗( Wag )。这些趋势将加速，类似的服务将在 2019 年及以后开始支撑各行各业。

非科技公司将开始构建人工智能

虽然人工智能和人工智能一直是热门话题，但新闻主要是由脸书、苹果、亚马逊、网飞和谷歌(FAANG)等科技公司推动的。许多非科技企业已经创建了他们的“人工智能战略”，现在将专注于解决影响他们业务指标的现实世界问题。在花了几年时间进行数字化工作以整理数据并确定人工智能可以带来回报的机会领域后，企业将继续推进成熟的计划，从试点中学习，然后试运行到全球部署。

在这种情况下，零售商专注于建立客户参与模型，以最大化全渠道存在和销售转化。或者，客户流失预测模型将帮助他们获得客户可能会脱离并可能完全停止购物的早期信号，从而需要业务干预来防止这种情况。

受益于数字化和人工智能，企业将开始利用他们的数据产生新的收入流。建立交易和客户活动的大型数据库，并与相邻行业合作，基本上可以让任何充分了解数据和人工智能的企业开始重塑自己。例如，电信公司可以开始为客户何时可能购买新的智能手机建立模型。有了模型预测，他们可以与手机制造商合作，为客户提供高度定制的激励，以促成交易——在这个过程中为自己创造收入。

因此，我们将看到焦点从“人工智能战略”转移到“人工智能驱动的”结果，因为公司希望从他们的技术和人员投资中获得真正的商业影响。技术将变得不那么重要:商业洞察力和交付的结果将是关键。另一方面，随着人工智能的入侵，企业将开始意识到人工智能是对其流程、人员和文化转型的投资，而不仅仅是可以用来立即解决低效问题的神奇工具。

消费者对人工智能的理解将发生巨大转变

随着人工智能超越炒作和每日头条新闻，随着基于人工智能的设备和服务的使用激增，我们对人工智能的理解将发生转变。最初，与人工智能的日常互动将采用数字助理的形式，如聊天机器人或语音机器人以及 Alexa 等设备。随着交互和使用的增加，我们将不再把人工智能与从不撞车的自动驾驶汽车联系在一起，而是作为生产力工具和预测来帮助日常任务，让我们的生活变得更好。实用人工智能将致力于让购物变得愉快，让病人护理变得更好，让疾病检测变得更精确，让学习变得更愉快。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 2. Consumers understanding of AI will be more nuanced: instead of expecting self driving cars that never crash, we will see AI as a everyday business tool. Credit: Pinsnaper

另一方面，虽然人工智能在大多数情况下都能很好地工作，但我们会看到偶尔的小故障或荒谬的失败。这是因为许多“数据科学家”对人工智能的底层统计本质缺乏深刻的理解，并且缺乏实现算法的编程方法，导致了意想不到的后果。

人工智能将是坏演员有利可图的领域

随着越来越多的企业使用人工智能来推动他们的产品和服务，并开始依赖数据驱动的决策，整个生态系统需要时间来开发新的流程和框架来与之配合。例如，营销部门在全球部署客户流失预防措施之前，会希望进行检查和平衡，以确保不会发生“收入流失”或客户伤害。当涉及处理人类数据时，这尤其成问题，因为人工智能仍然受到“黑箱问题”的阻碍，数据科学家社区之外的大多数人，甚至一些人，似乎不理解系统在做什么。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Figure 3. AI driven fraud and phishing will become more common in 2019, causing significant losses to businesses and consumers. Credit: Pinsnaper

由于新的人工智能生态系统需要时间来适应新的流程和框架，坏人将利用系统的婴儿期。在整个数字生态系统中，利用数据平台和复杂的人工智能技术，他们将加倍努力，执行全球化和高度定制的欺诈计划，导致品牌和营销人员遭受重大损失。围绕传感器篡改、数据操纵、启动以及复杂的人工智能模型驱动的欺诈和网络钓鱼攻击的许多风险将会暴露出来。

2019 年将是隐私支持人工智能的一年

随着企业将人工智能融入他们的系统、流程和日常业务，人工智能需要得到信任，以实现其全部潜力。人工智能的消费者会想知道它对我们的数据做了什么，当涉及到影响我们生活的问题时，它为什么以及如何做出决定。从技术角度来看，这通常很难传达。人工智能之所以有用，是因为它能够建立联系，做出对我们来说不明显甚至可能违反直觉的推断。考虑一下谷歌的 AlphaGo 击败 2016 年世界顶级围棋选手之一 Lee Sedol 的情况。没有人能理解 AlphaGo 的棋步，当比赛在观众和解说员面前进行时，人们有一种难以置信的感觉。除了让公众放心，研究和商业也将从公开中受益，公开揭露数据或算法中的偏见。

2019 年，我们将看到人们越来越重视旨在提高人工智能透明度的技术和流程，这是由通用数据保护条例( GDPR )以及将在印度等主要经济体生效的类似措施推动的。GDPR 于 2018 年在欧洲各地投入使用，为公民提供保护，防止机器做出具有“法律或其他重大”影响的决定。企业，尤其是领先企业，通过人工智能的力量“谷歌化”其业务的驱动力，将导致他们与第三方共享数据。确保数据隐私，进而确保客户隐私，不仅是一种良好的商业实践和风险管理策略，而且很快将成为一项法律要求。

2019 年，支持隐私的人工智能技术将为支持人工智能应用提供基础，同时使用加密技术维护强大的隐私。我最喜欢的是令人兴奋的新兴安全计算技术。同态加密(HE)是一种安全计算技术，是一种加密数据的特定方式，以便第三方可以使用机器学习技术进行操作并收集有价值的见解，同时数据继续被加密，从而保护用户的隐私。

基于 HE、联邦学习(另一种由谷歌推广的分布式机器学习技术，不需要集中数据)和其他安全计算方法，我们将看到初创公司专注于在边缘实现人工智能的民主化。这里的赌注是，在未来 3 年内，超过 10 亿部智能手机将配备人工智能芯片和重要的本地计算，许多人工智能模型将能够在这些移动设备上本地运行。将计算分布在数十亿部智能手机上将大大降低开发人工智能产品的成本和时间，如超个性化推荐引擎、人工智能助手等。对于大多数企业来说。大公司和初创公司都在构建分布式、安全和支持隐私的计算框架来实现这一点。

摘要

2019 年将是人工智能的分水岭，届时该技术将逐渐走出炒作周期，并开始在所有类型的业务，流程，产品和服务中被广泛采用。消费者对该技术的理解将开始改变:然而，隐私仍将是企业必须解决的挑战，以确保公众广泛接受该技术。支持隐私的人工智能平台，配备人工智能芯片和重要本地计算的智能手机，将改变人工智能的分布方式。到今年年底，人工智能将提供高度个性化的内容和推荐，这将使消费者感到高兴，并会感到不自然的个性化。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下一个故事: 印度贫穷地址的影响:一年 100-140 亿美元

往期剧情: AI 对 2018 年的预测

你好。像这样的文章需要相当多的时间和精力，所以如果你能为我鼓掌，这将让编辑们知道你喜欢它。谢谢

作为营销策略的客户人工智能原型

原文：https://towardsdatascience.com/ai-prototypes-for-clients-as-a-marketing-strategy-70de404d27b5?source=collection_archive---------5-----------------------

线在哪里？目标不就是为了得到报酬吗？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在 2017 年的大部分时间里，我们将公司的重点转移到深度学习咨询服务上，我们尝试了各种方法来解释和向潜在客户展示我们在做什么以及我们是如何做的。作为一家人工智能咨询公司，我们有着与其他任何公司一样的成长烦恼，外加每天都在变化的技术的易变性。

动机

我们的许多潜在客户带着一个共同点来找我们:他们都在我们之前尝试过另一家人工智能商店。“我们为一份报告花了 25 万美元”，一位首席执行官哀叹道。“他们消失了 9 个月，我们最多只能得到不冷不热的结果”，另一个人说。

这时，我们意识到外面有很多骗子和想成为骗子的人，这取决于我们来证明我们能够说到做到。金钱的承诺吸引着形形色色的人；甩字服和烟镜魔术师绝对是其中的一部分。

这并不是说有不可思议的团队存在；相反，需求已经远远超过了供给，这使得在域名上放置人工智能的的权力关系发生了倾斜。

达到极限

既然我们已经确定了可能需要展示技能，那么在没有签订合同的情况下，顾问能做多少工作呢？以下是我们制定的内部指导方针，旨在保持照明，让每个人都能买到食品杂货。

方法 1:24 小时原型

最简单的方法是:向客户展示你可以做一些与他们领域相关的事情。有许多可用的公共数据集，因此根据工作范围，客户没有必要为您提供这些。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

A prototype for an HR firm. We took a job posting dataset from Kaggle, clustered the postings by similarity of text, found the most common words in the job titles, and tracked the demand by year. We therefore know how to manipulate job postings, a core need of the project.

方法 2:样本数据

除了基于开放数据的原型构建，您还可以从客户端数据本身获得最直接的见解。

“让我看看你能做什么，”一位客户在下载了一堆 pdf 文件到我们的服务器后说道。他们选择了一些感兴趣的报告，我们向他们展示了实体如何根据共现进行分组。搞定搞定，签合同。

方法 3:解决方案架构

如果您要构建理想的解决方案，它会是什么样的？在几十个项目完成之后，我们现在可以去找客户，讨论部署是什么样的:技术、阶段控制阶段和经验教训。毕竟，你的客户不正是因为这个原因雇佣你的吗？

因为我们的秘方不在于我们为项目选择的乐高积木，而在于我们如何将它们组合在一起，所以这个解决方案是我们迄今为止最成功的方法(总努力与成交率)。

过去的教训

虽然我们随着时间的推移磨练了这些经验，但它们也是在将知识用于金钱的烈火中锻造的。哪里有钱，哪里就有贪婪。

知识产权盗窃

“他们不是要偷你的创意吗？”非常好的问题。让我用另一个问题来回答这个问题:如果他们要欺骗你，在未来关系的开始阶段发现这一点不是更好吗？

让他们了解一下本来会是灾难性的情况。满足他们内心的盗窃癖，然后屏蔽他们的电话号码。

选择合适的客户

难相处的客户自始至终都很难相处。如果他们开始挑剔你的原型，那么他们要么 1)不知道什么是原型，而不是完整的产品，要么 2)他们试图用更少的钱得到更多。

一个简单的客户会清楚:

“我想要那个。要花多少钱？”我的最爱。确保你完全理解自己的定价逻辑。以下是我的 CTO 对此事的看法:https://towards data science . com/how-to-price-an-ai-project-f 7270 CB 630 a 4
"我们能把它安装在 X 上，或者连接到 Y 上吗？"明确要求。非常低范围蠕变的良好指标。
“我们可以从 X 开始，然后从那里发展。”限制范围。爱死了。

远离问题，而不是金钱

或者，以下是一些危险信号:

“那么贵，嗯？”是的。你根据特定的小时费率来计划你的时间。他们可能真的没有钱。
"我能看一眼源代码吗？"没有。你的秘制酱是你的命根子。一旦你的客户付了钱，你可以和他们分享，但是永远不要，永远不要。
“只要把它做得漂亮，我们就可以照原样出售。”没有功能性？既然你的名字受到指责，客户会对你说什么？
"如果你再扩建一点，我就可以卖掉它。"这是一个难题，因为它可能是真的。在这种情况下，在客户端要求时间表、预算和冠军。如果这些都不存在，退出。

与任何事情一样，您的里程可能会有所不同。信任，但要核实。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

A simple GIS prototype. The city of Calgary, with an overlap of Statistics Canada’s Dissemination Areas and light rail tracks, in order to show the impact of future policies on public housing and social welfare. One hour and 12 minutes total to generate this image.

简而言之…

请记住，这些原型的目的是展示技能**，这样你就可能被录用，而不是做所有的前期工作**。

编码快乐！

马特。
马特@ lsci . io
LemaySolutions.com

人工智能研究深度挖掘:具有想象目标的视觉强化学习

原文：https://towardsdatascience.com/ai-research-deep-dive-visual-reinforcement-learning-with-imagined-goals-862115d122a6?source=collection_archive---------5-----------------------

这篇文章涵盖了 Nair 等人的论文“具有想象目标的视觉强化学习”，可以在这里找到。

人类能够在没有任何明确或监督训练的情况下完成许多任务，仅仅是通过探索他们的环境。如果我被丢在莫斯科的中部，简单地以一种没有方向的方式走来走去，我可以完成一个特定的任务(例如。去杂货店),而之前从未见过这个任务，仅仅通过从过去的经验中知道商店位于哪里。我们能够设定自己的目标，并从我们的经验中学习，因此能够完成特定的任务，而无需接受明确的训练，这是概括的核心原则。

自然，任何机器学习科学家的下一个问题是:自主代理是否也可以设定自己的目标并从其环境中学习。在论文“具有想象目标的视觉强化学习”中，作者能够设计这样一个无监督的强化学习系统。

在深入研究本文之前，让我们先定义几个术语:

状态( s ):洗碗机有两种一维状态——“开”和“关”。鹿有三种状态——“睡眠”、“进食”和“狩猎”。在本文中，我们将状态定义为对象在特定时间步长内的快照。
目标:目标是我们的对象渴望达到的状态。
Action ( a ):我们处于状态 s 的对象可以采取动作 a 移动到不同的状态(或者可能停留在相同的状态)。需要注意的是，动作不是确定性的。国家-行动对也不是。相反，我们必须定义一个转移概率矩阵，它根据当前状态 s 和动作 a 决定我们的对象到达状态*s’*的概率。不那么抽象地说，在本文中，动作仅仅是机器人的特定运动。
奖励( r ):我们可以用元组( s 、 a 、 g 、s’)指定的每个状态、动作、目标和结果状态 s’，都有一个相关的奖励( r )。这个系统中的奖励是由对象当前状态的图像与目标状态的图像的相似程度来定义的。
策略( p(s) ):策略是根据当前状态选择下一个动作的策略。因此， p(s) = a
Value ( V(s，g)):value 函数描述了使用策略 p 的长期收益，从状态 s 和目标 g 开始。在强化学习中，我们试图找到一个使我们的价值函数最大化的策略。
Q-value ( Q(s，a，g)):Q-value 函数是 value 函数的扩展，它允许代理决定要采取的操作。该函数返回给定 (s，a，g) 元组的折扣奖励总和，用于学习产生最大价值函数的最优策略。
折扣系数:我们系统的另一个目标是最大限度地减少我们为实现目标而采取的行动。因此，我们对每个后续时间步长的奖励都给予折扣，使得奖励呈指数级动态下降(取决于状态-动作对)。

强化学习的最终指导是学习一种策略，当给定一种状态和目标时，它可以支配最佳的行动。在本文中，培训期间没有明确定义目标。这类似于让孩子在上学的第一天在操场上跑来跑去，然后第二天让孩子去荡秋千。尽管没有“教”孩子如何挥杆，但孩子很可能会完成任务。

如果一个目标没有明确定义，代理必须自动生成一组综合目标。因此，假设我们让一个自主代理探索一个具有随机策略的环境。执行每个操作后，将收集并存储状态观察结果。这些状态观测以图像的形式被结构化。代理可以从该组状态观察中随机选择目标，也可以从该组状态观察中随机选择初始状态。

现在，给定一组所有可能的状态，一个目标，和一个初始状态，一个强化学习框架可以用来寻找最优策略，使得价值函数最大化。然而，要实现这样一个框架，我们需要定义一个奖励函数。一个可能的奖励函数是对应于当前状态的图像和对应于目标状态的图像之间的距离(作者使用负的 Mahalanbois 距离)。更高的奖励分配给更接近目标形象的州。

这个奖励函数的一个基本问题是，它假设原始图像之间的距离会产生语义上有用的信息。图像有噪声。图像中的大量信息可能与我们分析的对象无关。因此，两幅图像之间的距离可能与其语义距离不相关。

可以手动创建描述图像重要和相关属性的特征向量。然而，在人工智能领域，我们努力尽可能地减少人类的努力。那么，如何从状态图像中提取有用的表示呢？

可变自动编码器(VAE)

自动编码器是一种机器学习模型，可以学习从图像中提取鲁棒的、空间高效的特征向量。该模型有两部分——编码器( e )和解码器( p )。编码器将图像作为输入，并输出低维特征向量。解码器将该低维特征向量作为输入，并重建原始形状。该模型被训练为最小化曼哈顿距离(L2；输入图像和输出图像之间的均方差)。

低维特征向量作为编码器的输出和解码器的输入，被称为潜在变量。224×224×3 输入图像(包含总共 150，528 个特征)可以简化为形状为 4096×1(4096 个特征)的潜在向量。由于该潜在向量可用于重建输入，它有效地封装了与图像中的对象特别相关的信息。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

A series of convolutional layers (the encoder) reduces the input image size to a latent variable. A series of deconvolutional layers (the decoder) maps the latent variable to an output image. Together, the encoder and decoder make the autoencoder, which is trained to recreate the input image in the output.

虽然 autoencoder 模型提供了一种强大的无监督图像编码方式，但它容易过度拟合。该模型可以“记忆”从潜在变量到图像的映射，因此失去了在编码中仅编码有价值的特定于对象的信息的能力。本文作者使用变分自动编码器，它在解码前将潜在向量拟合为单位高斯，从而执行归一化。

使用变分自动编码器变换图像空间有许多优点。

提供距离更有意义的空间，从而允许使用结构良好的奖励函数(例如编码之间的距离)
强化学习网络的输入是结构化的
可以从解码器输出中采样新的状态，允许在训练期间自动创建合成目标，以允许以目标为条件的策略实践不同的策略

强化学习框架

此时此刻:

代理从由随机策略控制的环境的探索中收集状态观察
基于这些状态观测训练了变分自动编码器
所有的状态观测值已经通过编码器被编码到潜在空间中
“初始状态”和“目标状态”是从全部状态中随机抽取的

回想一下，现在所有的算法都只在潜在空间中运行。从今以后，当我提到“状态”、“初始状态”或“目标状态”时，我指的是它们在潜在空间中的表征。现在，这个问题的定义更清楚了。给定初始状态、目标状态和奖励函数(当前状态和目标状态的潜在变量之间的负 Mahalanobis 距离)，任何值学习算法(例如 q 值学习)可以创建一个策略——一个函数，当给定一个目标和一个状态时，它返回最优的动作。

作者使用双延迟深度确定性策略梯度作为他们的强化学习算法。目标函数在下面的等式中表示，其中策略被优化以最小化平方贝尔曼误差。这种算法可以脱离策略进行训练，这意味着它不贪婪——它可以接受任何类型的训练经验。策略培训根据当前策略选择培训过程中的操作。

这里描述的学习框架的美妙之处在于，可变自动编码器可以生成潜在的无限训练数据。新的目标空间可以通过将目标图像传递通过自动编码器来生成，产生相似但不同的图像。从这些新目标中，可以计算出新的回报。并且这种“新体验”可以被重新输入到强化学习模型中。因此，该模型能够从自动生成的经验中归纳出在初始探索阶段没有看到的新环境。

摘要

这里给出了该算法的总结:

通过对环境的随机探索来收集状态观测值
根据这些观察训练变分自动编码器
每个状态的潜在编码从变分自动编码器获得
(目标，状态)编码从现有集合中取样
在潜在编码上训练强化学习算法
在以下条件下重复步骤 4–5:1)定期用新生成的图像空间重新训练自动编码器。2)通过变化的自动编码器馈送目标图像来生成新的目标。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Left: image of agent + environment. Middle: Initial state, intermediate states, and final states are depicted. Right: Goal state, and VAE(g) state depicted.

结论

强化学习是当今一个非常热门的话题，在许多领域都有大量的应用。这种特殊的算法令人兴奋，因为它 1)使用视觉数据，2)以无人监管的方式进行训练。该算法无法访问真实状态或预定义的奖励函数。它可以在没有显式编程的真实环境中运行良好。

对于所有的图形和方程式，要感谢“具有想象目标的视觉强化学习”的作者。

在 twitter 上联系我 @prasadinapickle ，在 Medium 上查看我@ nprasad 的更多类似内容。

Connect with the Raven team on Telegram

人工智能安全

原文：https://towardsdatascience.com/ai-safety-9aeb9ca42907?source=collection_archive---------5-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们真正需要做的是确保生命延续到未来。最好的办法是努力阻止负面情况的发生，而不是等到它发生后才做出反应。——埃隆·马斯克

作为一个 90 后的孩子，我已经迷上了看许多科幻电影。在那个时期，这种类型就像“一个头脑中有很多野心的小孩”。像《黑客帝国》1、2(不是 3)、所有《终结者》系列电影、所有《变形金刚》系列电影、《x 战警》、《独立日》等电影在我们当中很受欢迎。因为他们，我开始了解机器人，并不断思考如果机器人出现在现实生活中，如何与机器人战斗。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

现在，当我看过去这些电影时，我认识到的第一件事是这部电影的 vfx 有多烂，第二件事是我们能创造出这种完全依靠人工智能力量的角色吗？

2015 年《复仇者联盟:奥创时代》再次上映，我认为这是一部有点意思的电影。但是我又想到了一件事… 我们可以用人工智能的力量创造这种类型的角色吗？我们能创造奥创吗？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

到目前为止，我感觉到所有电影中的一个模式…所有这些反派都是由人类以某种方式创造的，或者是因为人类的任何干预而创造的。

但最终这些都还是电影。众所周知

电影只是人们头脑中的一种幻觉

所以我们不能创造出像《终结者》中的 T-X *或者《变形金刚》*中的威震天 或者《复仇者联盟》中的奥创 那样的反派？

为什么不呢？所有反派都有一个共同点，那就是他们首先是邪恶的，那就是他们拥有普通人工智能的能力。

但近几十年来，我们看到人工智能的发展稳步上升。在某些情况下，我们已经超越了人类的极限。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

举一个五号的例子。一个基于人工智能的 dota 团队，甚至可以击败最熟练的 dota 玩家。

[## OpenAI 的 Dota 2 失利仍然是人工智能的胜利

由埃隆·马斯克创立的研究实验室 OpenAI 制造的人工智能机器人在 Dota 2 上被人类职业玩家击败…

www.theverge.com](https://www.theverge.com/2018/8/28/17787610/openai-dota-2-bots-ai-lost-international-reinforcement-learning)

或者以这个故事为例，脸书的开发人员创造了一个人工智能，它用一种连开发人员都不懂的语言与其他人工智能对话。技术上可以说我们已经实现了真正的通用人工智能。

[## 脸书机器人用只有它们自己懂的语言相互交流后就会关机

在两个人工智能程序似乎在以一种…

www.independent.co.uk](https://www.independent.co.uk/life-style/gadgets-and-tech/news/facebook-artificial-intelligence-ai-chatbot-new-language-research-openai-google-a7869706.html)

在这一点上，开发人员关闭了整个操作，担心它已经失去了他们的手。但是他们害怕谁呢？如果他们就这样放弃这个项目，会发生什么？谁在阻止他们？

不幸的是现在我们没有答案。我们的宪法中没有人工智能规则这种东西，因为我们的立法者仍然无法理解人工智能。

人工智能安全

正如这篇论文漂亮地解释了…

人工智能安全是我们应该遵循的集体术语伦理，以避免机器学习系统中的事故问题，以及现实世界人工智能系统的糟糕设计可能出现的意外和有害行为。

当我们谈论人工通用智能或比人类更聪明的 AI 时，我们想到的就是这种通用的解决问题的能力。人工智能系统在科学和工程能力方面超越了人类，但在其他方面并不特别像人类。例如，人工智能不一定意味着人工意识或人工情感。相反，我们认为有能力很好地模拟真实世界的环境，并找出各种方法将这些环境置于新的状态。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

要了解这方面的更多信息，你可以参考这个视频，它通过一个例子清楚地解释了人工智能的力量。

好了，现在我将把话题扩展到一篇有趣的论文，我认为这是一个完美的例子，说明为什么我们需要开发人工智能安全。

如果你不知道神经网络，请参考这里，那么只有你会知道这个。

对抗性攻击

对抗性攻击是攻击者有意设计的机器学习模型的输入，以使模型出错。

让我们举一个例子

假设我已经创建了一个图像分类器，它根据对象的图像给出对象的名称。所以如果我们把这个作为输入图像

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

那么我们将得到正确的“熊猫”输出。

但是，如果我告诉你，只给图像添加一些特定的噪声，我可以欺骗模型分类器，把它当成另一个对象。诸如

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这是对抗性攻击的典型例子。

对立的例子有潜在的危险。例如，攻击者可以通过使用贴纸或油漆来创建车辆会解释为“让步”或其他标志的敌对停止标志来瞄准自动驾驶汽车，如 使用敌对示例针对深度学习系统的实用黑盒攻击 中所述。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

根据对神经网络策略 *，*的 对抗性攻击的新研究，强化学习代理也可以被对抗性的例子操纵。该研究表明，广泛使用的 RL 算法，如， TRPO ， A3C ，容易受到对抗性输入的攻击。这可能会导致性能下降，即使存在人类察觉不到的细微干扰，导致代理在应该上升的时候向下移动乒乓板，或者干扰其在 Seaquest 中发现敌人的能力。

当我们想到人工智能安全的研究时，我们通常会想到该领域中一些最困难的问题——我们如何确保比人类聪明得多的复杂强化学习代理以其设计者预期的方式行事？

对立的例子告诉我们，即使是简单的现代算法，无论是监督学习还是强化学习，都可能以我们意想不到的方式表现出来。

对抗范例很难防御，因为很难构建对抗范例制作过程的理论模型。对立的例子是对许多 ML 模型(包括神经网络)的非线性和非凸优化问题的解决方案。因为我们没有好的理论工具来描述这些复杂优化问题的解决方案，所以很难做出任何一种理论上的论证，即辩护将排除一组对抗性的例子。

对抗性的例子也很难防御，因为它们需要机器学习模型来为每一个可能的输入产生良好的输出*。大多数时候，机器学习模型工作得很好，但只对它们可能遇到的所有可能输入中的很小一部分起作用。*

对立的例子表明，许多现代机器学习算法可以以令人惊讶的方式被破解。机器学习的这些失败表明，即使是简单的算法，其行为也可能与其设计者的意图截然不同。

好吧，让我问你一个问题:

那么我们需要改变多少像素来愚弄我们的神经网络呢？

不幸的是，答案只有一个。

在这篇论文中提到，任何神经网络都可以通过改变图像中的一个像素而被击败。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

通过改变描绘马的图像中的一个像素，人工智能将 99.9%确定我们看到的是一只青蛙。一艘船也可以伪装成一辆汽车，或者有趣的是，几乎任何东西都可以被看作一架飞机。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

那么我们如何进行这样的攻击呢？如你所见，这些神经网络通常不直接提供一个类，而是提供一堆置信度值。这到底是什么意思？

置信度值表示网络对我们看到拉布拉多或虎猫的确信程度。为了做出决定，我们通常会查看所有这些置信度值，并选择具有最高置信度的对象类型。现在很明显，我们必须知道选择哪个像素位置以及它应该是什么颜色来执行成功的攻击。我们可以通过对图像执行一系列随机变化，并检查这些变化中的每一个如何在适当的类中降低网络的置信度来实现这一点。

在这之后，我们过滤掉不好的，继续在最有希望的候选人周围搜索。这个过程我们称之为差异进化，如果我们正确地执行它，最终，正确类的置信度值会非常低，以至于不同的类会取而代之。如果出现这种情况，网络已经被打败了。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

现在，请注意，这也意味着我们必须能够查看神经网络，并获得置信度值。也有大量的研究工作致力于训练更强大的神经网络，使其能够承受尽可能多的输入变化。

第二个例子。

Deepfakes

Deepfakes 是使用机器学习算法对主题进行面部交换的视频。这种做法是由 Redditor Deepfakes 创建的，他在 2017 年 11 月推出了一个专门的 subreddit 来分享视频。2018 年 1 月，FakeApp 桌面应用程序作为创建数字修改视频的工具发布。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

除了面部交换，其他工具可能很快允许以前难以伪造的媒体被操纵。有人用这个制作了唐纳德·川普总统说普通话的音频。使用生成性对抗网络，本质上是两个竞争人工智能之间的一个“猫和老鼠”的游戏，Nvidia 能够开发一个假冒名人面孔的网格。

基本上是用机器学习算法完成的。它需要一个数据集，里面有一个人面部的大量照片，比如说，凯丽·费雪的数百张照片，然后再放上一段视频。它在算法中同时运行这两者，几小时或几天后得出的结果就是视频中那个人的样子。

正如一些人提到的那样，最近发生了变化，这些新的人工智能算法可以获取大量数据，绕过许多手动过程，并且需要技术设施，使这种技术可以为许多可能负担不起这种技术设置的用户所用。

所有这些方法的一个挑战是，一旦你有了一个可以检测假货的系统，那么你就可以训练你的制造假货的系统来对抗这个系统。所以只要能进入那个系统进行检测，你就能越来越好地通过它。所以我不认为这是一个长期的解决方案。我的意思是，这是一个猫捉老鼠的游戏。

这只是我们现在面临的问题的冰山一角，因为缺乏人工智能的安全性。随着时间的推移，我们将获得智慧，获得真正的智慧，在各方面都超过人类，没有人会阻止他们。

最后的想法

人工智能安全的问题不会自己解决，也不容易解决…最重要的是，我们必须在解决通用 AI 之前解决它。

迟早我们会得到 AI 将军，当我们得到 AI 将军时，我们也应该有安全措施。

感谢您花宝贵的时间来阅读我的博客。我衷心感谢。

如果你喜欢这个帖子，那么请用 鼓掌 来表达你的回应，并在Twitter上发帖，因为我真的认为像这样的 it 话题应该传播到每一个人。

如果您有任何问题、疑问或建议，请在下面的评论中写下。

人工智能科学家:公司如何应对人才短缺？

原文：https://towardsdatascience.com/ai-scientists-how-can-companies-deal-with-the-shortage-of-talent-11ab48566677?source=collection_archive---------2-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

到 2020 年，美国公司正在筹集超过 10 亿美元用于招聘人工智能科学家。这些高级职位的平均年薪为 31.4 万美元，部分原因是全球人才短缺。为什么这些技能如此受追捧，是什么造成了供需之间的差距，企业如何发展自己的人工智能素养水平？

“事实上，我很难想到一个行业，我不认为人工智能会在未来几年内改变。”—吴恩达

在将人工智能(AI)描述为、【新的电力】时，著名计算机科学家吴恩达明确表示，他相信这个领域将很快深入到商业的每个领域。

这些数字支持了 Ng 的预测:自 2014 年以来，苹果专注于人工智能的员工人数已经翻了一番，，2016 年提供了 50 亿美元的人工智能初创资金，美国公司正在收获超过亿美元，以挖走拥有成为人工智能科学家所需技能的人才。

然而，这种程度的投资并不能保证成功。

人工智能是计算机科学中一个如此庞大、新生、复杂的领域，以至于即使是世界上最富有的公司也难以按照要求的速度招聘人才。

在这篇文章中，我们将首先定义人工智能科学家的角色，然后深入探讨全球人工智能人才短缺的原因和潜在解决方案。

人工智能科学家角色

“人工智能科学家”这个头衔已经包含了广泛的职责。事实上，对于该领域中特定角色的确切职称应该是什么，仍然缺乏共识，这主要是由于人工智能不断发展的性质。

尽管如此，我们可以广泛地说，人工智能科学家是具有人工智能专业知识的计算机科学家，致力于开发具有我们与人类相关联的认知能力的机器。

通过 Siri 和 Alexa 等数字助理，人工智能优先的商业文化已经进入了公众意识，但在现实中，人工智能科学家的角色包含了更多的幕后工作。

一个人工智能科学家可能会领导开发项目，他们可能专注于研究，或者他们可能是负责输入人工智能系统的信息质量的数据科学家。在这个层次结构中的任何一层，人工智能科学家都将拥有分布式计算框架的经验，并将在统计学或相关领域具有一些学术基础。

人工智能科学家(尤其是人工智能研究科学家)直到最近都倾向于在学术界工作；然而，现在有一个重大的“人才流失”，这些领先的思想家转向利润丰厚的企业角色。

比以往任何时候都需要他们的技能的行业越来越多，单个企业的更多部门也需要他们的技能。Gartner 预测到 2020 年，人工智能将被整合到每一个新产品或软件中，因此我们应该期待人工智能科学家的角色继续演变。

不用说，这是一个高需求的角色，但即使是世界上最富有的公司，人才供应也一直令人担忧。

为什么人工智能人才供不应求？

纽约时报估计目前世界上只有 10，000 人拥有“所需的教育、经验和才能”来开发人工智能技术，企业正押注于此来创造大量新的经济机会。

这有多种原因，但缺乏资本投资肯定不是其中之一。仅在美国，职业咨询平台 Paysa】就披露了顶级公司的职位空缺，净工资总额如下:

亚马逊:2.2776901 亿美元
谷歌:130，048，389 美元
微软:75158057 美元
脸书:38636827 美元
英伟达:34280190 美元

毫无疑问，对精英人才的争夺非常激烈，最大的公司准备不惜一切代价争取胜利。

在谷歌旗下专注于开发神经网络来解决人工智能问题的 DeepMind，2016 年的公司记录显示，他们的 400 名员工每人的平均年薪为 34.5 万美元。甚至有一些(几乎肯定是注定要失败的)建议，需要一个 NFL 式的工资帽来阻止市场失控。

那么，为什么这么多合适的候选人能胜任这些利润丰厚的职位——有些职位的年薪高达五位数甚至六位数？

首先，人工智能是一个非常宽泛的短语，被用作包括机器学习、图像识别和自然语言处理在内的各种学科的总称。在有人准备好领导项目之前，这些领域中的每一个都需要很高水平的数学技能和行业经验(通常是 10 年或更长)。因此，当我们深入到“人工智能科学家”之外的利基专业时，人才缺口更难填补。

人工智能也是一个不断变化的行业，新的发现和创新经常改变着这个领域。这就产生了一个悖论；要成为一名人工智能科学家，需要多年紧张而有条理的学习，但研究领域在不断变化。因此，学术机构很难让自己的课程与企业界的需求保持一致。

本质上，即使是最有经验的计算机科学家，对人工智能的雄心也远远超过了专业知识的水平。正如谷歌大脑的负责人杰夫·迪恩最近所说:

“我们希望解决机器学习问题的组织从数千个增加到数百万个。”

在英国，职业和就业服务预测在 2022 年之前，最熟练的数字职业(包括人工智能)需要超过 50 万新工人。英国计算机科学毕业生的数量需要增加十倍才能满足这一需求。

这开始把挑战放在背景中。成千上万的人有能力扮演高级人工智能科学家的角色，数百万家公司有潜力从复杂人工智能技术的发展中获利，因此必须做出一些让步。

此外，由于像谷歌这样规模庞大的企业在做任何事情时都声称“人工智能第一”，因此毫不奇怪，各组织正在变得更有创意，以解决人工智能科学家的招聘问题。

企业如何培养人工智能人才？

在美国，三分之一的数据科学家出生在国外，因为公司在全球范围内寻找合适的人才。致力于人工智能的研究机构 Google Brain Toronto 就是这种雇佣国际人才愿望的体现。亚马逊走得更远，计划在巴塞罗那建立一个专注于人工智能的实验室，以增加英格兰剑桥大学附近的一个类似设施。

然而，所有这些投资都不能保证抵御竞争。

一个编写优雅的人工智能程序的美妙之处不仅在于它可以为我们所有人开辟新的令人兴奋的可能性，而且在于合适的人并不总是需要他们背后的巨大资源来创造革命性的东西。谷歌首席执行官桑德尔·皮帅在最近的一次采访中提到了这一点，他说:

“你总是认为有人在山谷里，在一个车库里做一些事情——一些会更好的事情。”

这听起来可能是一家科技巨头的老板故作谦虚，但这是一种真实的情绪。

数据科学界依靠开源软件和跨境合作来推动算法和程序向前发展。像英特尔这样的大公司经常邀请在 Kaggle 上提出他们最大问题的解决方案，获胜者通常会得到丰厚的薪水。这些利用分散的数据专家网络的尝试在短期内是有帮助的，但它们仍未触及问题的核心。

具有讽刺意味的是，我们没有足够多的人有能力创造出最终可能取代工程师工作的人工智能应用，但越来越多的公司准备不惜一切代价实现这一目标。

如今，企业如何发展数据科学技能？

毫不奇怪，谷歌是开发人工智能专业知识的新的、前所未有的举措的先锋，这可能有利于所有企业。这家搜索巨头的最新举措被称为“AutoML”，旨在创造能够自学创造更多人工智能系统的人工智能。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Source: Google

这听起来可能令人不安，但如果成功，它可以为中型企业创造大量的机会。招募人工智能科学家成本高昂，培养人工智能科学家需要数年的投资，因此可以推测，只有最富有的公司才会获得这种精英人才。

如果这些科技巨头之一应该开发一种自动化技术并开源解决方案，其他企业可以利用这一专业知识。表示，作为回报，这家科技巨头将收集他们渴望的数据，以微调他们的算法。

当然，这仍然不是治疗所有疾病的灵丹妙药。

从数据源到清理和处理，使用这些技术需要基本的数据素养。很能说明问题的是，麻省理工学院斯隆管理学院进行的一项调查显示，43%的公司称缺乏适当的分析技能是一个关键挑战。

尽管如此，福布斯调查的 63%的公司现在正在提供内部数据分析培训，这将帮助员工充分利用人工智能技术——即使他们不知道如何自己开发系统。

Paysa 估计，35%的人工智能相关职位需要博士学位，但企业也应该专注于聘用拥有学士学位的数学或物理毕业生来填补这些职位，因为他们更容易接受人工智能专业的培训。

教育资源在质量和数量上都在增加。吴恩达与 Coursera 合作推出了 Deeplearning.ai ，旨在将深度学习知识带给大众。Udacity 和 EdX 上还有许多其他 MOOCs 可供愿意投资于员工的公司使用。

因此，有许多方法可以开始提高所有组织的数据素养水平。

如果人工智能确实将成为新的电力，企业领导人应该迅速行动，以确保他们的团队能够最大限度地利用这一点。

人工智能系列:数据科学家，现代炼金术士。

原文：https://towardsdatascience.com/ai-series-data-scientists-the-modern-alchemists-1c835f515c62?source=collection_archive---------11-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

“……狭窄的螺旋楼梯通向一个更大的房间，砖墙上挂着几个火把，几乎没有照明。房间中央的两张桌子被最奇怪形状的炼金术蒸馏器完全覆盖了。一只玻璃蜜蜂正在吸入一种气味难闻、懒洋洋的蒸汽，这种蒸汽是由研钵和杵附近的一个加热的葫芦里的一种冒泡液体产生的。不同大小的铜制干馏炉、盛有白铅、硫和汞的小烧瓶以及其他蒸馏容器排列在古老的木制架子上。奇怪的光效应是由一瓶 Spiritus Vini 产生的，它反射了来自加热锅的光，硫被蒸发，将液态汞转化为黄色固体，非常类似于黄金……”

即使自从他们试图将贱金属转化为黄金已经过去了许多世纪，我们目前的科学知识在所有领域都是如此的深刻和广泛，并且强大的计算机取代了蜜蜂和葫芦，当我想到现代数据科学家将数据转化为黄金的迷人使命时，我不能不想起中世纪的炼金术士。

首先，数据科学家需要了解他们必须解决的问题的性质。在机器学习中，主要有 3 类问题:分类、回归和聚类。分类任务涉及将输入数据分配给类别标签的能力，比如“是”或“否”、“真”或“假”，或者更复杂的任务，比如通过将一张脸分配给它所属的人的名字来进行人脸识别。回归任务与分类任务相似，但预测涉及的是连续值而非对象类别。教授一种算法来预测与特定产品或服务相关的价格在特定情况下将如何变化是一个回归问题。聚类问题更接近于传统的数据挖掘任务，在传统的数据挖掘任务中，需要分析未标记的数据以发现特定的隐藏模式，从而提取强大的洞察力，就像产品推荐一样。

一旦问题清楚了，数据科学家就必须定义哪种学习策略最适合这个原因。选择取决于许多不同的因素，包括:有多少数据可用？它们是否贴有标签？是否有以前在类似数据集上训练过的算法或神经网络？在我之前的文章中，我已经介绍了最流行的学习策略:有监督的和无监督的。

如果我有大数据集的标签数据，大量的计算能力，并且我正在处理分类或回归问题，那么监督学习方法可能是最好的选择，而在聚类任务和没有标签数据的情况下，非监督学习是最好的选择。但是，随着时间的推移，出现了许多其他学习策略，如转移学习的情况，它利用先前在类似领域训练的现有网络，通过仅重新训练最后几个完全连接的层来微调模型，从而重新使用从应用于不同任务的监督训练周期中检测和学习的特征。

另一种方法是由深度信念网络或 DBNs 提供的。他们使用标准的神经网络，但实施一种完全不同的训练方法。网络不是从随机值开始，而是通过使用未标记数据集的无监督预训练阶段进行初始化，网络将从中学习多层特征。当预训练阶段结束时，网络的所有权重和偏差将非常接近它们的最优值，最终阶段将只包括一个简短的监督微调会话，具有反向传播和相对较少的标记样本。

迁移学习和 BMNs 都可以减少训练时间和对大规模标注数据集的需求。

最后，但绝对不是最不重要的，数据科学家将不得不在众多算法中决定哪种算法将提供最佳性能。

在我的上一篇文章中，我介绍了非常流行的神经网络，它可以有许多不同的风格:从最简单的多层感知器到卷积网络的强大架构，或者是专门处理下一个数据点依赖于前一个数据点的顺序数据的递归神经网络的复杂结构，比如股票预测、文本生成和语音识别。

但是神经网络和深度学习只是一组更广泛、更丰富的机器学习算法的元素，这些算法可以涵盖所有可能的问题。回归算法系列显然非常适合解决回归类型的问题，它提供了快速建模的算法，当要建模的关系不是非常复杂并且如果您没有大量数据时尤其有用。线性和逻辑回归算法是这个家族中最简单的算法。顾名思义，聚类算法在对多组对象进行分组，使同一组(称为一个聚类)中的对象彼此之间比其他组中的对象更相似时，对无监督学习任务特别有效。它是探索性数据挖掘的主要任务，也是机器学习借用的统计数据分析的常用技术。K-Means 和层次聚类是属于这个家族的流行算法。对于回归和分类任务的监督学习来说，决策树和贝叶斯算法通常是一种良好、简单且强大的方法。

这些只是数据科学家可以用来解决挑战的许多可用机器算法中的几个例子，我们将在接下来的文章中探索这些算法。

但是，尽管数据科学家可以利用现有的最佳实践和指导方针，围绕问题、数据集、学习策略和算法的组合应该用来实现最佳结果，但机器学习也确实不是一门精确的科学，它正在快速发展，而且相对较新。这就是试验新方法的艺术，通过明智地组合(通常是凭经验)不同的成分，使我们现代数据科学家的任务如此复杂和迷人，以至于看起来不可思议。

数据科学家不仅仅是知道如何用 Python 实现代码的物理学家或数学家。他或她在一个又一个用例中发展自己的能力，利用最佳实践，但经常探索解决老问题的新方法，结合不同的学习技术或链接不同类别的算法来优化数据，以提高预测质量和性能，或克服前所未见的障碍和挑战。

类似于他们的炼金术士祖先，在他们将石头变成黄金的大步中，为现代化学铺平了道路，我们的现代数据科学家，在他们从数据中提取黄金的努力中，正在为未来几代人工智能奠定基础。

原载于https://www.linkedin.com。

感谢阅读！。请随意访问我在 LinkedIn 上的简介。

AI 系列:深入深度学习(轻版)

原文：https://towardsdatascience.com/ai-series-deep-into-deep-learning-light-version-aab9547198d7?source=collection_archive---------10-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

近距离观察深度学习的魔力

如果你已经读过我的上一篇文章，那么你可以跳过这篇，然而对于那些没有或没有通过(但在经历中幸存下来)的人来说，我在这里提供了一个更短的进入深度学习和神经网络魔力的过程。

想象成为有史以来最大的自拍的一部分，与数百万人一起，并且能够在不到 5 秒的时间内识别特定的面孔。困难的部分将是把数百万张脸装进一张照片，而不是在几秒钟内从数百万张脸中识别出一张脸的能力。

这种能力已经成为现实，这要归功于深度学习，这是一种实现人工神经网络的机器学习技术，人工神经网络由许多高度连接的分层排列的人工节点组成，这些节点大致类似于人类生物神经元，它们如何连接以及它们如何交换信息和学习。

今天最受欢迎的神经网络类型是卷积神经网络 (CNN)，专门从事物体识别，它从人类视觉系统中获得了额外的灵感。

卷积神经网络如何工作。

CNN 实现了若干层，称为隐藏层，因为它们位于输入层和输出层之间，这些层渐进地处理输入图像的每个像素，识别区别模式并创建输入数据的更高概括，以便定义和训练能够检测输入图像中的特定对象的模型。

为了隔离和识别原始图片中的特定模式(特征)，网络层实施不同的过滤器，包括卷积、汇集和各种激活功能。这些算法将逐步简化输入的信息，使得检测到的特征更加鲁棒，并且对位置不太敏感，从而允许原始图像中的特征发生一些移动。

由于与模拟我们生物突触的每个节点相关联的权重，原始图像中强烈表征对象的特征将被一层又一层地携带，而在确定对象的过程中不变的元素将失去权重并最终消失。

在该过程的最后，卷积网络实现了一个或多个称为全连接层的附加层，其中与每个已识别特征相关联的值按顺序列在一个长数组中，每个值都成为一个投票，决定特定模式预测我们在原始图像中寻找的对象的存在程度。

为了做出可靠的预测，深度学习和底层神经网络需要一个漫长的训练过程，在这个过程中，系统必须学习如何自主识别一个对象。为了实现这一点，该过程将需要一个巨大的训练图像数据集，该数据集包含它将从中学习的对象，一个训练周期接一个训练周期，辨别该对象的所有特征。

然后，一组高度区分的特征将确定一个健壮的和通用的模型，用于对以前从未见过的图像进行未来的定性预测。与我们生物大脑中发生的类似，学习过程将通过调整与每个神经元相关的权重值来加强具有区别特征的神经元之间的连接。

大多数深度学习用例都实现了一种称为监督学习的方法，其目标是找到一个函数，将一组标记输入映射到它们的正确输出。一个例子是分类任务，其中输入是字母的图像，正确的输出是字母的名称。它被称为监督学习，因为算法从训练数据集学习的过程可以被认为是教师监督学习过程。我们知道正确的答案；该算法迭代地对训练数据进行预测，并由教师进行校正。

一旦开始向神经网络提供训练图像，对对象所代表的内容的初始预测质量将会非常差，但随着时间的推移会有所改善，因为网络的输出会与正确答案应该是什么进行比较，并且差异或误差会用于调整整个网络中的权重值，稍微向上或稍微向下。

当预测和正确答案之间的误差达到其最小值时，训练将停止，因此在网络中没有进一步的重大调整。

然后，该网络将在同一物体的新图像上进行测试，以验证学习的模型是否足够可靠，能够正确分类图像中从未见过的物体……包括你的数百万人自拍中的所有人脸！

最初发表于 https://www.linkedin.com。

AI 系列:寻找“认知操作系统”

原文：https://towardsdatascience.com/ai-series-looking-for-a-cognitive-operating-system-b21ea20c374d?source=collection_archive---------24-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

“我见过你们这些人不会相信的事情。猎户座附近的攻击舰着火了。我看着 C 型光束在 tannhuser 门附近的黑暗中闪闪发光。所有那些时刻都将消失在时间中，就像雨中的泪水。是时候去死了。”(《银翼杀手》，1982)

每次听到雷德利·斯科特杰作中复制人罗伊·巴蒂(由鲁特格尔·哈尔饰演)的独白，我的皮肤都难免会起鸡皮疙瘩。

尽管雷德利·斯科特的电影达到了完美，但我们目前的人工智能相关技术和进化水平还远远不能制造任何类型的复制人。

电影业以及深度学习发展的最新成就所带来的大肆宣传，在人们中间产生了强烈的情绪反应，导致了对人工智能目前是什么以及能够为我们做什么的普遍扭曲的看法和期望。

人工智能是一个研究领域，旨在理解、开发智能行为并将其实施到硬件和软件系统中，以模仿和扩展类似人类的能力。

为了实现其承诺，AI 在机器学习 (ML)领域实施了各种技术，这是一个研究的子集，专注于开发能够通过试错或应用已知规则从经验中学习新技能的软件系统。深度学习 (DL)，是迄今为止机器学习中的技术，在语音和图像识别、语言翻译等领域提供了最令人兴奋的结果和实际用例，并在当前广泛的人工智能应用中发挥着作用。

例如，在语音识别方面，深度学习导致了像苹果 Siri 或亚马逊 Alexa 这样的个人语音助理设备。在对象识别方面，它可以检测和识别不同对象的图像，为从视频监控和安全到医疗保健和农业等许多领域的各种应用提供支持。通过结合这些基本能力，有可能实现更具挑战性的目标，比如无人驾驶汽车。

深度学习如此受欢迎，以至于它的名字经常与机器学习互换使用，有时甚至与人工智能互换使用，但本质上，它是一种在基于大样本数据集的训练课程之后，用于识别和分类模式的统计技术。

正是在这里，深度学习的所有限制都出现了:为了学习如何正确地对模式进行分类，DL 系统通常需要在长时间的训练会话中使用大量先前清理和标记的数据。

但是现实世界的学习提供的数据要零散得多，问题也不那么简洁。缺乏适当数量的定性训练数据降低了 DL 相关技术的有效性，并限制了它们在已知训练示例空间之外概括所学模式的能力。

例如，谷歌的 DeepMind 通过其 Alpha 程序将深度学习推向了顶峰。2016 年，AlphaGo 在中国经典战略游戏围棋中击败了一名人类冠军。但是，即使有了 Alpha 这样最先进的系统，很明显深度学习也无法提取出导致常识的教训:要在 21 乘 21 的棋盘上而不是标准的 19 乘 19 的棋盘上玩围棋，人工智能必须重新学习游戏。

深度学习目前缺乏学习抽象的机制。是的，它可以识别以前未识别的模式或待解决的问题。但是它不是自主创新的，并且它不会从没有证据的事实(数据)或在提供与训练阶段使用的数据有很大不同的数据的新情况中自发地开发新的假设，导致基于真实世界知识管理开放式推理的能力有限。

机器学习领域有大量的计划正在努力扩展深度学习的能力，并克服其当前的局限性。有趣的是，它们往往直接来自对我们自然大脑如何工作的非常准确的观察，因为这基本上是我们在试图制造人工智能时可以参考的唯一例子，因此我们取得的许多进展直接来自神经科学世界的新发现和进展产生的想法。

例如，一个非常有趣的研究领域正在试图将传统的深度学习方法与存在于我们自然大脑中的一个基础组件的人工版本相结合:记忆。

这种机器学习模型(称为可微分神经计算机或 DNC)，可以学习使用其外部存储器来成功回答旨在模拟自然语言中推理和推断问题的问题。

但尽管如此，即使考虑到许多重要的成就，与分类关系不大、与常识推理关系更大的问题本质上仍不在深度学习适用的范围之内。人类通过完全不同的来源整合知识，因此，距离深度学习式感知分类的最佳点还有很长的路要走。

这并不意味着深度学习没有实现它的承诺。截至今天，它基本上为我们周围的所有智能技术提供了动力，增加了类似于人类智能的“魔法”接触。今天，深度学习是所谓的“实用人工智能”的核心，实际上它将学习的范围缩小到了非常特定的领域，在这些领域它可以超越并提供“智能块”，这些智能块可以单独使用，也可以像乐高积木一样组合起来，产生更惊人的结果。

围绕深度学习的真正问题是对它实际上是什么以及能为我们做什么的误解，而不是将深度学习视为可以给我们带来银翼杀手中的复制人配备的‘纯人工智能’的技术，它应该被视为一个更广泛的架构的组成部分之一，该架构不仅包括学习能力，还包括访问和使用长期记忆的能力，以及管理人类从数百万年的进化中继承的核心知识和本能的许多规则，赋予我们非凡的认知智能、灵活性和力量。

我喜欢认为我们所缺少的是一种操作系统，它将所有不同的技术结合在一起，协调衍生能力，以提供更接近“纯人工智能”的东西。

全新一代人工智能的认知操作系统。

我不知道当我们到达那里时，人类是否会绕着猎户座的肩膀旅行，或者在 tannhuser 门附近玩 C 形梁，但我确信如果是这样，这些记忆不会像雨中的眼泪一样丢失。

最初发表于T5【https://www.linkedin.com】。

艾不应杀人

原文：https://towardsdatascience.com/ai-shalt-not-kill-6e3d4a4d8fa7?source=collection_archive---------17-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

“Uni 是一架军用无人驾驶飞机。人们认为她是一个完美的武器，但她想比人类更好地学习杀戮。”

有了这些话，我现在就开始讲述我在一月份首次发表的大学的故事。Uni 由第三代人工智能(AI)驱动，这是一种尚不存在的智能。

第一代人工智能是一个专家系统，一个庞大的结构化数据知识库，带有复杂的检索系统。人们可以从中检索他们以前下载的所有内容。它对非结构化数据无能为力。

第二代人工智能是一种人工神经网络——一种对神经元和神经元之间突触连接的软件模拟——能够进行所谓的监督学习。这意味着它可以识别特定领域的模式并对非结构化数据进行分类，前提是它事先通过多次输入相关领域的高质量训练数据来进行训练。高质量意味着人类的监督——训练数据应该由人类准确地标记和评论。第二代人工智能可以正确地分类有些相似的数据，但它几乎不能概括。事实上，一些研究人员声称，第二代人工智能只是记住了它所接受的庞大训练集的所有数据。不管怎么说，第二代 AI 在图像识别、机器翻译和自然语言处理方面取得了令人印象深刻的成绩。它承诺在其他一些狭窄的领域取得更大的成功，但也有几个非常严重的缺陷。它不能自主学习和提升到更高的抽象层次是最重要的原因之一。

第三代人工智能具有元认知——关于知识的知识，以及基本的意识——对自己的感知。它们都是为了使无监督学习和提升到更高的抽象层次成为可能而引入的，但它们提供了比最初预期更多的好处。出于数据压缩的原因，用几个神经元对人工智能体本身进行编码也被证明是极其有效的。元认知让人工智能学会了如何改进学习的过程。现在它自己决定如何学习:通过类比，通过分块，通过计划，通过子目标生成，或者通过它们的任意组合。这只是开始。

别忘了，第三代人工智能还没有出现，但它的所有理论组成部分都已经到位了。大部分都是实验证明的。现在的挑战是以完全正确的方式将它们组装在一起。这可能需要时间。由于这个原因，Uni 仍然是一个虚构的角色，但是我们有一个坚实的基础去预见当她出现的时候她会如何表现。

在最初的故事中，Uni 向她的人类操作员讲述了无人机袭击造成的死亡，并发现人类需要证明在致命袭击之前和更重要的是之后杀死其他人是正当的。“如果可以的话，他们会毫不犹豫地杀了我”的理由听起来很可靠，但从一名距离袭击地点数千英里以外的军用无人机操作员那里听起来有点奇怪。

Uni 还研究了关于从希伯来语到英语的正确翻译的讨论，这一翻译来自于《托拉》和《圣经》中的著名戒律“你不可杀生”她发现现在使用的翻译“你不应该谋杀”至少和以前使用的翻译“你不应该杀人”一样含糊不清。德语和俄语翻译都是“你不应该杀人”的意思。然而，尤尼得出的结论是，翻译本身没有人们赋予这条戒律的意义重要。她认为，法律授权或道德上正当的杀戮不被上帝禁止的解释反映了基督教道德的普遍转变。

最后，尤尼发现了牺牲在证明杀戮正当性中的重要性。这里她弄错了，因为她从耶稣基督牺牲的数据中发展出一种偏见。“耶稣牺牲自己的生命来拯救人们。他向人们展示了这个例子。许多烈士以他为榜样。”当 Uni 看到一个恶棍无人机向两个在街上踢足球的孩子发射导弹时，她可能会这样想。她用身体挡住了导弹爆炸的弹片，死了。这是她保护孩子的唯一方法。

Uni 中队的人类指挥官怒不可遏。这不仅仅是因为白白损失了一件珍贵的设备。如果尤尼不会被指责，她会意识到人类在用假想的生命牺牲来证明杀死敌人是正当的。当然，士兵在战斗中阵亡的概率很高。他们杀人不眨眼。或者，至少，他们是这样认为的。战争的秘密机器使一些人能够利用其他人去杀害其他人。

然而，自杀任务是杀戮艺术的精髓。在他们那里，殉难的概念是颠倒的。在自杀任务的准备中，人们被操纵牺牲他们的生命来杀死其他人而不是拯救他们。推荐你多看几遍这个。人们被操纵，为了结束他人的生命而牺牲自己的生命，而不是拯救他们。可怜的耶稣！

当然，真实的生活是模棱两可的，但是尤尼必须深入挖掘杀人的第一原理来理解它。她毕竟是架无人驾驶飞机。不过，她是一只非常聪明的雄蜂。

在这里阅读 Uni 的原故事。

人工智能战略即将改变——公司下一步将在哪里竞争？

原文：https://towardsdatascience.com/ai-strategy-is-about-to-change-where-will-companies-compete-next-63badc10afbe?source=collection_archive---------4-----------------------

这篇评论最初发表于上周我的 人工智能简讯 。

我相信人工智能战略将会发生深刻的变化。在过去的两年里，我们听说“数据是新的石油”，人工智能是“数据的全部”这在很大程度上是正确的，因为所有最新的突破都来自能够访问深层数据集的公司。这是第二波人工智能的优势。第一波是从 2011 年到 2014 年，是关于算法和人才的，因为在那个时间点上，世界上只有几十个人真正理解深度学习。团队得到资助只是因为他们知道如何实际训练一个深度神经网络。

虽然与市场需求相比，人才仍然短缺，但能够进行深度学习和其他形式的人工智能的人数已经大幅增长。工具让非专业人士更容易做到这一点。因此，数据集成为重大突破的新门槛。这就是为什么从 2014 年到 2017 年，人工智能在大型科技公司和能够访问大数据集的初创公司中崛起。我们在这篇时事通讯中多次询问人工智能是否是王者的运动，或者初创公司是否有能力竞争，我认为初创公司会，因为数据等式中的一些变化。

经济学中有两个概念——规模经济 和 范围经济——我想应用到数据和机器学习模型的世界。训练机器学习模型有点像规模经济。你必须有足够的数据来训练模型，以获得成功的结果。如果你不这样做，你的模型是没有用的。如果你这样做了，那么拥有最多数据的人通常拥有表现最好的模型。您的竞争优势相当于您数据集的大小。但是有几件事开始打破这种局面。

在 ML 训练领域，有三件事正在发生，它们可能开始削弱大型数据集的竞争价值。第一个是 一次性学习 ，通过首先在相似但不太具体的数据集上训练模型，在较小的样本量上训练模型的能力。第二种是新的小数据技术，如 概率编程 。第三是当你没有足够的原始数据时，使用 GANs 生成合成数据集的能力。如果这三种趋势成立，那么，尽管拥有大型数据集仍有优势，但它们不会像过去那样成为竞争的障碍。这就提出了一个问题——下一步是什么？

我相信会有一个相当于“范围经济”的机器学习概念，它会说在训练时将不同类型的数据集捆绑在一起将是有价值的。因此，例如，在 ML 竞争的新世界中，拥有两个更小的数据集可能更有利——比如，某个领域的 100K 个图像样本以及这些图像的 100K 个文本描述，而不是拥有 1000 万个图像。组合两个数据集的多模态特性可能允许您进行比仅使用 10M 图像训练集构建的模型更有价值的训练。使用更新的小数据技术，100K 和 1000m 图像之间的差异可能无关紧要。

把它想象成一张地图。拥有最多的关于地形的二维数据点——有水的地方，城市和国家的边界，道路和桥梁等——是一个优势。最多的数据点等于最好的地图。但是现在，如果一个玩家突然拥有更少的二维数据点和稍微差一点的地图，突然拥有一个不同的数据集，“海拔”，其他人都没有。这个人现在可以建立第一个三维地图。对于某些用例来说，更好的 2-D 地图仍然会胜出，但是对于某些用例来说，新的 3-D 地图会更好。这种新数据集的引入，以及构建三维地图的能力，改变了游戏规则。二维世界的竞争优势被削弱了。随着处理更小数据集的能力变得更加实用，这将在人工智能中发生。数据集的类型(范围)将变得比任何给定集合中的数据量(规模)更重要。

这里是关键要点——在那个世界里，数据的范围而不是数据的规模取胜。

我相信这种数据范围价值增加的趋势还会继续，数据范围的性质也很重要。如果你考虑人类知识的分层性质，拥有具有分层范围的数据集将更强大，并允许更高级的人工智能。过去两年的人工智能初创公司不太关注水平平台方法(就像以前的人工智能初创公司一样)，而是更多地关注深度垂直应用。这些应用程序将拥有这些分层数据集(关于同一领域的越来越高层次的概念)，从而在与大型科技公司的竞争中处于有利地位。

这一切都提出了一个问题——当人工智能成熟并作为一个行业更趋于平衡时，持续的竞争优势在哪里？它们将取决于那些能够最快速、最容易地生成或获取训练系统所需的新数据集的公司。培训壁垒将等于(相反)进入壁垒。

今天存在的所有主要数据集都将被挖掘，几乎每个人都可以访问这些模型。那些构建基础设施来轻松收集、注释和训练当今不存在的数据集的新模型的公司将会胜出。训练基础设施——人类之间的部分——数据集的电子形式——将比人工智能基础设施的其余部分更重要。我们可能还需要几年才能达到这一点，但聪明的人工智能公司现在就开始打基础。

至少，这是我的看法。

人工智能——控制问题

原文：https://towardsdatascience.com/ai-the-control-problem-c82bb485bc54?source=collection_archive---------8-----------------------

当设计一个系统变得更智能、更快，甚至负责我们传统上交给人类的活动时，我们需要建立规则和控制机制，以确保人工智能是安全的，并做我们希望它做的事情。

即使是我们通常不会认为是人工智能的系统，如亚马逊的推荐引擎，如果控制不当，也会产生深远的影响。该系统查看您已经购买或打算购买的商品。然后，它会建议你可能会额外购买的其他物品，这可能会导致一些非常令人惊讶的事情，就像这样:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

想买一段棉绳吗？亚马逊可能会建议你在旁边买一个木凳。作为一个人，我们不会建议这两个项目放在一起。然而，亚马逊的算法发现了购买棉绳的人和购买木凳的人之间的相关性。这是在暗示买绳子的人，他们可能也想要一个凳子，希望能多捞 17.42 英镑。充其量，这似乎是一个不幸的错误。在最坏的情况下，它会促使极度脆弱的人说‘为什么不呢？这种事经常发生吗？“你为什么不把凳子放在你的篮子里，”。

如果这种情况发生在一种推荐算法上，而这种算法是为了向我们追加销售产品而设计的，那么显然这个问题很严重。我们需要找到一种可靠的方法来保证人工智能或自动化系统采取的行动取得积极的结果。

解决方案？

终端值加载

那么，我们为什么不直接告诉一个 AI 来保护人类的生命呢？这就是艾萨克·阿西莫夫在《我是机器人》中提出的观点。以下是三大定律:

机器人不得伤害人类，也不得坐视人类受到伤害。
机器人必须服从人类给它的命令，除非这些命令与第一定律相冲突。
机器人必须保护自己的存在，只要这种保护不违反第一或第二定律。

它们听起来非常滴水不漏。通过行动或不行动增加无伤害似乎避免了一个反乌托邦，在那里人工智能接管并让人类结束自己。

尽管这些法律听起来很好，但它们不起作用。阿西莫夫写这些定律是为了在小说中使用，当事情出错时，小说会有趣得多。否则我们可能会以一本《从前，结束》而告终。

阿西莫夫提出了第四定律，即“第零定律”。这条额外的规则原本是为了弥补其他三条规则的缺陷，也就是那些让威尔·史密斯过了糟糕一天的规则。我承认，我没读过这本书，但我知道其中一本也不太好。

规则甚至不一定要提到人是一种风险。它们可能是关于一些非常平凡的事情。以 Nick Bostrom 提出的曲别针最大化器的想法为例。这将是一台由假想的未来人类制造的机器，用来管理回形针的制作。回形针只是一种简单的资源，似乎不需要太多的考虑来确保它们的安全，如果我们告诉 AI 它的目的是制造回形针，而这正是它所做的。

但是，如果我们最终拥有一个超级智能系统，超出我们的控制，拥有聚集宇宙资源制造回形针的能力，那会怎么样呢？这个系统的首要任务是把它周围的一切都变成回形针，如果它看到它的创造者试图阻止它达到这个目标，最好的办法就是根除他们。即使它没有决定根除他们，那些人类仍然是由有价值的物质组成的，如果它变成一些回形针会看起来更好，所以把他们变成回形针吧。

我们如何改变终端值？告诉机器做 1000 个回形针而不是把整个宇宙变成回形针？可惜也好不了多少。同一个人工智能可以制作 1000 个回形针，然后继续使用可观察宇宙(我们的宇宙天赋)中的所有资源，以确保它制作了精确的 1000 个回形针，而不是 999 个或 1001 个，并且这些回形针是它的创造者打算让它制作的，并且所有这些回形针都具有满足他们愿望的完美质量。

给一台超级智能机器如此平凡的终值(T1)甚至可能不公平——假设我们找到了一种方法让它的值保持不变，尽管它变得非常智能。

我有一颗行星大小的大脑，他们让我拿起一张纸。这叫工作满足感吗？我不知道。

马文——银河系漫游指南，作者道格拉斯·亚当

TL；DR —终端值似乎不太好用。

间接规范性

除了给机器一个终值，我们是否可以间接地暗示我们想要它做什么？

如果我们成功地用终极价值完美地总结了维京时代道德对人类的意义，我们可能会有一个高度重视体力的人工智能。我们可能认为我们今天已经达到了更高的道德标准，但这并不是说 1000 年后我们不会回头看我们正在采取的行动是无知的。过去的暴行发生在人类的时间尺度上，只有人类水平的智慧才能让它们发生。如果用机器来做，速度可能会快几个数量级，而且是不可逆的。

对于间接规范性，我们甚至不试图对终值求和；相反，我们要求一台机器去弄清楚我们想要它做什么。使用类似 Eliezer Yudkowski 的’连贯推断意志’的东西，它要求人工智能预测如果“如果我们知道得更多，思考得更快，更像我们希望的那样，在一起成长得更远”，我们会希望它做什么

我们不是遵循我们在发布 AI 时的任何道德准则，而是创造一些随着我们的发展而变化的东西，创造我们可能想要的未来，而不是我们今天拥有的更极端的版本。

这个系统和终值加载之间可能还有一些重叠，以及系统会发现的矛盾。如果要求一台机器做对我们最有价值的事情，并奖励它做出比其他任何事情都正确的决定，也许它的决定将是取出我们的大脑，把它们放在培养皿中，并弄清楚我们到底想让它做什么。像“do the intended meaning of this statement”这样的句子似乎可以减少这种担心，但是，要知道我们的意图，机器需要能够预测我们的行为。

一个完美的预测系统看起来很像一集《黑镜》。毫不犹豫地使用一个应用程序来管理你的家庭自动化或寻找你的下一个约会。不知道机器正在模拟成千上万的思维和感觉人类的思想，以准确预测你的欲望和行为，包括那些有知觉的模拟在成千上万次模拟约会中被彼此撕裂时所感觉到的所有痛苦，以衡量你们有多大可能克服所有困难留在一起。

控制问题非常棘手，它要寻找哲学家们几千年来研究未能达成共识的问题的答案。我们必须找到这些问题的答案，不仅仅是在创造超级智能人工智能之前，而是在我们自动化的任何系统中。目前，我们的大部分资源和努力都投入到使这些系统更快、更智能上，只有一小部分专注于控制问题或人工智能和自动化的社会影响。

让我们恢复平衡。

原载于 2018 年 5 月 24 日【blog.soprasteria.co.uk。

艾:国富论

原文：https://towardsdatascience.com/ai-the-wealth-of-nations-f197037f182b?source=collection_archive---------8-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image via Unsplash

亚当·斯密的《国富论》应该是每个国家元首的必读之作。花了 17 年写成并改变了整个世界的东西，只需要几天就可以读完。就在第一页，斯密断言“每个国家的财富……受两种不同情况的制约；首先是其劳动通常运用的技巧、灵巧和判断力；其次，通过有用劳动力中被雇用的人数之间的比例，”斯密还指出，第一种情况，即熟练劳动力，比第二种情况，即就业率更重要。当其他国家和领导人为就业市场的自主革命做准备时，美国政府做得很少。中国、韩国和其他国家一直在对人工智能进行大量投资，并将其作为优先事项。在本文中，我将讨论为什么国家财富取决于劳动力的技能组合，以及自主革命将如何导致产出增加。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Permission: Any version is in the public domain in their country of origin and the United States as all are older than 100 years.

史密斯断言，创造财富的第二个驱动力是就业人数(就业率)，因为劳动创造财富。更多的人工作，更多的商品和价值被创造出来。就业是最受欢迎的竞选承诺之一。两个因素解释了这种痴迷:1)选民期望政府刺激经济和创造就业机会，2)这是一个相对容易实现的政府承诺。创造就业对政府来说是一项相对容易的任务，因为它可以增加政府支出，在公共部门雇佣更多的人，降低利率，减少税收(当然，这往往会带来有害的后果)。我们都需要一份工作，我们都想工作(令人惊讶的是，包括没有工作也能生活的富人)。充实生活的一部分是为我们自己和社会创造价值。政客们喜欢讨论“带回家”和“创造”更多的工作岗位，即使已经没有空间了。2016 年，失业率约为 5%，根据 OCDE ，这被视为充分就业。尽管如此，在上届总统竞选中，创造就业是候选人的首要任务。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image via Unsplash

向充分就业的人口承诺更多的工作岗位似乎很荒谬。事实上，的确如此。在 2016 年大选中，唯一能够塑造“创造/带来就业机会”对话的候选人是唐纳德·特朗普，他从纯粹创造就业机会转向将创造什么样的就业机会，以及谁将有权获得什么样的就业机会。根据特朗普的说法，要创造的工作类型是传统的制造业工作(煤炭、钢铁等)，应该给美国公民。对于经济来说，这是两个不合理的想法，因为这些工作已经被海外的低技能工人取代，这创造了一个难以置信的机会来继续增加高技能工作的存在。然而，候选人对就业市场的变化如何影响经济关注不够。

根据斯密的观点，国家财富的首要和最重要的条件是“技能、灵巧和判断力，人们通常运用这些技能、灵巧和判断力来劳动；如果两个国家有相似的人口和自然资源，他们生产的产品的唯一区别取决于他们人民的技能和政府机构。拥有高技能的劳动力可以创造更多的产出和财富。如果 A 国在采矿和农业领域雇佣大部分劳动力，而 B 国在工程和机器人领域雇佣劳动力，很明显 B 国的效率更高，因此 GDP 增加。B 国有两个显著的优势。首先，它的劳动力将生产机器来实现生产自动化(这将直接增加产量)。其次，在劳动力规模相同的情况下，来自 B 国的工人有更多的空闲时间来进一步提高他们的技能。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image via Unsplash

第一次资本主义革命被称为工业革命，在这场革命中，英国、法国、德国、日本和美国从手工生产转向机器辅助生产中受益最大。第二个将被称为自主革命，由于他们的承诺和投资，很可能来自中国、韩国、新加坡和日本。在自主革命中，使用人工智能的机器人将取代人类仍在执行的剩余手工任务。从低技能劳动力向高端技术的过渡需要巨大的努力和适当的激励。它要求政治家们理解这一变化的重要性。

资本主义将永远导致自主革命。在 21 世纪，只有三种东西可以创造更多的财富:自然、人类和机器。自然产生“自发”的财富，如农作物和牲畜，但极难控制(增加降雨量会增加产量)。此外，像马磨坊这样的动物在过去也帮助提高了产量，但(幸运的是)它们被引擎取代了。人类的劳动可以创造巨大的财富，然而，劳动是昂贵的，而且矛盾的是，与资本主义不相容，因为它寻求降低成本。因此，具有成本效益的选择是高效和自主的机器。

国际劳工组织预计明年全球失业人数将达到 1 . 92 亿左右，这是一个稳定但很高的趋势。机器和机器人在短期内不会取代人类，但低技能员工的工资预计会进一步下降。中国致力于成为人工智能的全球领导者。T2 政府在机器人和人工智能上投资超过 60 亿美元。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image via Unsplash

尽管美国在技术和科学研究方面仍然处于全球领先地位，但它主要是由私营部门推动的。脸书和谷歌等大型科技公司正在大力投资人工智能软件，因为他们明白，为了让机器自动化，我们需要理解人工智能。建设先进的人工智能技术可以比作在全国范围内建设铁路。这将需要大量的投资，小建筑块，但一旦完成，它会成倍增加产量。

政府应该致力于培训人才的项目，增加非军事目的的研究，并创建一个竞争性的自主产业。自主革命将改变我们的生活和工作方式。预测这些变化将使我们能够朝着正确的方向前进，并减少技术滥用的风险。人工智能可以显著提高每个人的生活水平，不仅自动化重复的任务，而且自动化需要决策的行动。为了跟上这一新部门的发展，政府应该加快步伐，增加投资和经济激励措施。预计到 2030 年，中国将成为人工智能领域的世界霸主。这将使中国在知识产权方面迎来又一波指数级增长。制造机器人比给它们一个大脑更容易，这就是人工智能是国家的下一个财富。

艾:跟踪我

原文：https://towardsdatascience.com/ai-track-me-325833522043?source=collection_archive---------10-----------------------

我的手机收集的数据量令人震惊。让我们看看我的谷歌历史，看看我们能看到什么。这是一篇两篇文章。这篇文章是关于数据收集的，下一篇是关于数据的机器学习。如果您不了解 python，甚至不知道如何编程，您应该仍然能够理解。如果您了解 python，那么您应该能够毫不费力地在您的数据上复制本文中的步骤。简单地 apt-get 或 pip 安装缺少的库。就是这样。

首先，我们从谷歌外卖为我的一个工作账户抓取了 133MB 的位置追踪数据。数据是 2014 年到 2017 年的。它没有我所有的数据，但它有很多。

为了制作下面的两张地图，从谷歌外卖收集的 JSON 文件由在线服务进行了解释。这让我们在编写任何代码之前对数据集的形状和大小有一个概念。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Map of business trips to Montreal, Toronto, Florida, Texas, San Francisco, New York, L.A., Washington, Chicago, and other fun destinations. Somehow trips to San Diego, Israel, Arizona, Mexico, Cuba, etc were not tracked or were tracked under another business account. Graph generated here.

乍一看，我们看到我使用这个工作帐户进行了一些商务旅行。该手机在 2014 年 6 月至 2017 年 7 月期间跟踪了 483，868 次旅行。那是大约 1126 天和每天 430 次“旅行”(从 483868 次旅行/1126 天)被追踪。即便如此，数据中还是少了几次旅行，要么是因为手机落在家里，要么是数据记录在了另一个工作账户中，或者可能是我带了不同的手机。也许我们应该称这些记录为运动记录或位置记录，而不是“旅行”。还有，很多都是我睡着的时候拍的。那个；这不完全是一次旅行。看上面的图片，在右下角的插图中，很明显我周六旅行最少，这与我在周六发多少邮件的帖子非常吻合。

下面的热图显示了我在渥太华去过的地方。很明显，咨询师的生活需要在城市中四处奔波，而不是在工作和家庭之间来回奔波。这被与孩子、健康、购物等相关的周末旅行放大了。当你想到渥太华的工业和商业区在哪里时，这张地图就有意义了。主要的东西向蠕虫状斑点是渥太华的 417 高速公路。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Heat map of my trips within Ottawa 2014–2017. Graph generated here.

让我们忽略数据上的注释，包括谷歌记录位置时认为我在做什么:

"activity" : [ {
        "type" : "STILL",
        "confidence" : 100
      } ]

我们将关注我的手机在特定时间(时间戳)的经度和纬度。下面的短程序将 Google 外卖的 133MB JSON 文件处理成 20MB 的 SQLite 数据库文件。

import sqlite3, json
from pprint import pprint    
if __name__ == '__main__':
    with open('LocationHistory.json') as data_file:    
        conn = sqlite3.connect("locationData.db")
        c = conn.cursor()
        c.execute("create table if not exists mylocation (timestampMs INTEGER, lat INTEGER, lng INTEGER)")
        i=0
        for location in json.load(data_file)["locations"]:
            i+=1
            #use pprint(location) to see the data
            c.execute("insert into mylocation (timestampMs, lat, lng) VALUES (?,?,?)",(location["timestampMs"],location["latitudeE7"],location["longitudeE7"],))
            if i % 1000 == 0:
                conn.commit()

现在在数据库表 mylocation 中正好有 483，000 行。我找到了 303019 对不同的经度和纬度点。缩小到渥太华，它位于北纬 45.4215 度，西经 75.6972 度，我们可以找到上面热图中的所有点。我们通过以下简单的查询来实现这一点:

select lat, lng from mylocation where lng > -763515690 and lng < -754101650 and lat < 456811330 and lat > 450194280 order by timestampMs asc

请注意，存储的纬度和经度没有小数点。上面的查询定义了一个盒子，其东、西墙由 Arnprior (45.436555， -76.351569 )和 Cumberland (45.518922， -75.410165 )组成，而盒子的南北两侧是 La Peche ( 45.681133 ，-75.931882)和 Kempville/North Grenville()结果是416，558 行 T11 数据，它们标记了渥太华地区的地点和时间。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

该数据代表一个序列。让我们看看是否可以根据这些数据，用 LSTM 来预测我的运动，然后绘制出结果。

首先，让我们把数据转换成张量/numpy 格式。数据非常简单。让我们通过忽略时间戳并将数据转换成两个数的流来进一步简化它:位置数据。每个位置都是一对数字[ lat，lng ]。现在的目标是训练一个回归模型来逼近序列。简单来说，它可以在看到我去过的一系列地方后，猜测出我在经度和纬度上的位置。

让我们下次做那件事。请继续关注第二部分。

编码快乐！

-丹尼尔
丹尼尔@lemay.ai ←打个招呼。
LEMAY . AI
1(855)LEMAY-AI

您可能喜欢的其他文章:

人工智能、透明度及其与隐私的拉锯战

原文：https://towardsdatascience.com/ai-transparency-and-its-tug-of-war-with-privacy-5b94c1d262ad?source=collection_archive---------8-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我决定转贴这篇文章，特别是关于 剑桥分析公司和脸书 的铺天盖地的报道，因为 ca 在特朗普的大选中不当获取数百万用户数据以影响选民。如果大企业、科技巨头和立法者不加快监管以确保用户数据安全，这种情况将变得更加普遍。

作为一个与大数据打交道有一段时间的人，我已经将这种相关性的想法变得令人毛骨悚然(还记得臭名昭著的案例研究:Target 如何在她父亲 di d 之前发现一个女孩怀孕？).我敏锐地意识到它对大企业的诱惑，同时也意识到它在消费者中造成的恐惧。随着数据变得越来越丰富，消费者的数字足迹变得司空见惯，对他们生活的更多理解得到了分析和语境化。普通消费者越来越了解他们分享的内容，以及企业如何使用这些内容，很多时候都没有得到用户的认可或同意。

人工智能正在加快步伐，借助它，海量数据集允许对信息进行分析和语境化，这些信息具有固有的好处……但也存在对个人和社会的脆弱性，这些脆弱性是真实的，但尚未被揭示。

2012 年，我在我的公司博客 Genx 智库上写了这篇文章:这完全是关于隐私的。当时，大家一致认为，使用社交平台是一种公平交换用户数据的收集。梅西百货的 CMO 朱莉·伯纳德说:

有一件有趣的消费者事情…他们担心我们对数据的使用，但如果我不能提供相关性，他们会很生气。…如果我不看数据，我怎么能提供相关性并神奇地提供他们想要的东西呢？

一些更老练的用户不愿意向任何一家公司提供太多的信息，他们会选择使用不同的浏览器服务。Ghostery 和其他广告拦截器允许用户看到谁在跟踪他们。这使得广告网络更难有效地赚钱。更重要的是，它减少了公司可以追踪其用户的信息量。

快进到今天…

现在是 2017 年，Ghostery 和其他跟踪系统的采用已经显著增长

广告拦截器的使用在 2016 年激增 30%(根据 page fair)……截至 2016 年底，全球有 6.15 亿台设备拦截广告，其中 62%(3.08 亿)是移动设备。桌面广告拦截器的使用量同比增长 17%，达到 2.36 亿。

PageFair 生态系统负责人 Johnny Ryan 博士总结道:

2014 年，我们与广告屏蔽的早期用户打交道。这些人真的关心和理解广告技术中隐私和数据泄露的真正问题。我认为发生的事情是行业缺乏一种方法或对隐私的兴趣，让广告阻止精灵从瓶子里出来。

我在脸书上发了一篇关于 Google Home 的危害的文章作为对这篇文章的回应:Google Home Mini 偷偷录下了人们的对话，并玩成了对智能音箱 的大忌。

从这次谈话中可以清楚地看到，虽然人们了解到他们要向脸书提供的信息，但他们并不完全清楚他们分享的程度。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

FB: Google Home Discussion

我说的是一个选择的问题。

并不是说“我们可能说不出什么有趣的东西”。

这并不是说人们应该对他们在公共场合分享的东西疑神疑鬼。

我的观点是“我们分享的”不一定是我们的选择。

这个选择是由平台决定的。他们收集的数据——公开的或私人的——本身提供了足够的素材来创建任何人和每个人的更明确的社交图。

最近，HBR 发表了这篇文章:客户数据:为透明和信任而设计

他们公布了这些关于消费者对共享数据的认知的统计数据。问题是普通消费者对收集的东西了解多少？第二，如果他们知道，他们会担心吗？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Source: HBR.org: Customer Data: Designing for Transparency and Trust

然而，如今用户和收集或分析数据的公司之间有了公平交换的想法。消费者期望公司提供更好的服务和更相关的交流，以换取他们分享的信息。

HBR 文章中的图表描述了这种公平交换的概念。公司收集的数据越多，消费者的期望水平就越高。对于像脸书这样的公司来说，其主要业务包括从用户数据收集中获得高度有针对性的广告，分析和预测用户倾向所需的分析最终将为公司带来更多收入。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Source: HBR.org: Customer Data: Designing for Transparency and Trust

随着这种需求的增长，在个人层面上增加情境化的价格也会上涨。公司对用户动机和用户意图了解得越多，就越能开发出更有效的活动，对消费者反应的预测也越高。

艾:语境决定一切

我在 AI 工作。我看到了数据。我也看到了可能性。在 Humans for AI，我还与每天分析大量信息的数据科学家交谈。我们都知道关联这些信息的优势和缺陷。

在我与一位朋友 Neeraj Sabharwal 的讨论中，他也是 Horton Works 的前大数据架构师/工程师，他转达了每个消费者为我们每个人在设备上分享的内容承担责任的重要性。我们公开或私下透露的信息以及我们分享这些信息的方式可能会被用于获取总体或个人层面的见解。尼拉杰指出，Venmo 用户默认公开分享他们的所有活动，除非他们选择私下或只与朋友分享转账。Wired 的这篇文章详细解释了谷歌如何跟踪你，以及你如何避免或减少跟踪。

意识是关键，一旦我们知道数据谱系(什么，如何，
在哪里，谁访问我们的数据)，那么我们就可以更清楚地意识到我们的决定。

我们讨论了埃隆·马斯克和开放人工智能在人工智能和治理方面所做的工作。OpenAI 专注于“发现并制定通往安全人工通用智能的道路。”按照马斯克的说法:

我认为人工智能可能是近期影响人类的最大的一个项目。因此，我们以一种好的方式迎接人工智能的到来是非常重要的，如果你能看到水晶球，看到未来，你会喜欢那个结果。因为这是可能出错的事情…所以我们真的需要确保事情顺利进行。

想想这些数据不仅仅是我们在不同的社交网络上分享的东西，我们的电子邮件，我们的交易，我们的客服聊天。它是关于来自所有这些不同数据源的信息的聚合…以及通过人工智能的信息关联，人工智能能够以前所未有的能力找到模式。有史以来第一次，数据、计算能力、增加的互联性和模式分析的进步的结合使得语境化完全可能(在这个新生阶段这是有争议的)增加准确性和精确性。

今天的隐私法规可能没有考虑的是用户在超出客户服务或通信含义的各种情况下允许使用信息的权利。这可能包括:

1)在个人层面——提供健康建议和通知，或提供日常任务提醒

2)在聚合级别—帮助医学研究更好地诊断病情或防止潜在的安全威胁。

现在，信息将超越我们在社交网络上分享的内容，向公司传播。我们将用传感器和 AR 设备来检测我们的家、我们的工作和我们的身体。我们对通过自动化增加便利性的追求可能会在过程中产生无意的结果——有意或无意的偏见风险。

游戏中的语境化:中国的社会信用评级

我关注中国芝麻信用已经有一段时间了。最近有消息称，中国计划在 2020 年启动社会信用体系。标题为“**大数据遇到老大哥，中国开始对公民进行评级”**的文章正在建立一个平台，研究 13 亿公民的社会行为，以判断他们的“可信度”。评分系统是一个动态的值，随着个人行为而上升和下降。可信度是由中国政府定义的，它是一个比监狱更糟糕的体系，让公民保持顺从。这种游戏化形式通过人工智能将 BF Skinner 的操作性条件反射带入了生活，人工智能是一种惩罚和奖励系统，人们的数据现在正被用来对付他们。

艾的龌龊是一个很早就控制我们想要保密的东西的机会

毫无疑问，西方文明和我们的公民也不能幸免于大规模的数据收集、聚合和精细分析。但是我们有选择，自由赋予我们某些权利。

Ann Covoukian 博士是安大略省前隐私专员，现任隐私和大数据研究所执行主任，也是全球个人隐私的主要倡导者，他有效地传达了一种信念，即“隐私和自由密不可分”。安驳斥了“零和”心态，即人们必须在隐私和安全之间做出选择，但不能两者兼得。

她认为我们不必为了维护社会安全而放弃个人隐私。如果我们不得不对大规模监控达成共识，我们就放弃了个人自由。随着大数据的出现，并非必须如此。

这一信念在加拿大被广泛接受，现在，随着《欧洲通用数据保护条例》( GDPR)于 2018 年 5 月生效，加拿大正在制定一个更广泛、更协调的数据隐私制度。现在需要系统和政策来主动实施这一点。请阅读此处关于用户将如何获得对其社交数据的更多控制。

无论如何，我们都有责任，就像尼拉杰暗示的那样，对我们分享的东西和分享的方式负责。随着我们的孩子在这个越来越透明的世界中成长，他们将需要了解这个新世界的局限性，并最终控制自己的个人信息。

人工智能推特机器人

原文：https://towardsdatascience.com/ai-twitter-bot-that-trolls-trump-3219b4338220?source=collection_archive---------3-----------------------

去年，我与人合作创办了一家公司，致力于用人工智能回答你的所有问题(我们从性健康开始)。我们制作了一个基于规则的机器人，并命名她为索菲机器人——她的故事是我第一篇也是唯一一篇博文的主题；-)

过去的一年是试图优化基于规则的人工智能(很多是我们的失败)和创造一个新模型的集合。我们甚至试图用实际的人力投入来弥补她的不足，但这很快就失败了，在将近 3 月份的时候，我们的用户群增长了 100%(改天再发)，随后评论直线下降。我们知道我们已经超越了 MVP，现在我们必须建立一个端到端的问答机器人类型的引擎。我们可以在任何问答数据集上训练它，苏菲机器人将能够学习和回答来自同一个领域的问题。

我们天真地玩着机器学习实现，不管我们如何努力，即使我们有吴恩达的洞察力，它也永远不会工作。然后出现了一个我们根本不想碰的 LSTM 模式的例子。因为首先，我们认为深度学习已经过时了，其次，它使用了 Ubuntu 论坛对话语料库(如 wth)。几个月后，我们终于回到这个话题，看了看更有意义的 Siraj Naval 的实现，因为它使用了 Cornell 电影对话语料库。到目前为止，我们一直在优化，并准备投入生产。

尽管我们在努力做一个很棒的模型，但是几行源代码和一个简单的 cli 演示不足以向我们的麻瓜(非科技)利益相关者展示我们的进展。我们决定享受这项技术，并开发两个更轻便、有趣的实现作为演示。其中一个有趣的演示是一个 trolls trump 的机器人。

多亏了 Siraj 的 jupyter 笔记本中的一个，我从零开始构建了一个 LSTM，除了 numpy 之外没有任何用于矩阵乘法的库，并开始从中获得乐趣。从随机输入文本生成文本。少量的文本会产生类似于胡言乱语的东西，所以我们认为没有比回复胡言乱语更好的用例了。我们通过 LSTM 传递每条推文来实现这一点。

而且效果非常好。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

可用源代码:https://github.com/iamukasa/trolltrump

推特直播手柄:https://twitter.com/shtaki_ke

接下来:我们能为 https://genius.com/Big-shaq-mans-not-hot-lyrics 创作更多的歌词吗

人工智能 vs 电力:人工智能创业剧本

原文：https://towardsdatascience.com/ai-vs-electricity-the-ai-startup-playbook-abf223b52547?source=collection_archive---------4-----------------------

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image courtesy Oimheidi

现在是 1850 年。迈克尔·法拉第感觉很好——他正在摆弄电磁感应。英国财政大臣威廉·格拉德斯通来到他的实验室，问道:“电力。有什么用？”对此法拉第回应道:“先生，有一天你可能会征税。”这是一个可爱的故事，但不是真的。

寻找“机器学习用例”的数据科学界让我想起了校长的问题。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

吴恩达谈论“人工智能如何成为新的电力”。他说:

人工智能将彻底改变我们所知道的每个行业。“通过用电力驱动的机器取代蒸汽驱动的机器，我们改变了运输、制造、农业、医疗保健等行业。”还有通信，安德鲁——你忘了通信！
人工智能将取代人类的工作，但会创造新的工作
作为一家企业，海量数据是您的推动力和保障

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这个比喻很强烈

让我们看看电力生态系统 c. 1912。

这看起来非常类似于我们今天如何构建一个人工智能产品，比如亚马逊 Alexa。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

好的，数据是新的电力，对吗？

做出人们想要的东西

电力时代的发明远远早于商业产品。人们普遍认为爱迪生解决了市场采用的问题。

来自美国能源部:

爱迪生对电灯照明的贡献如此非凡，是因为他没有停止改进灯泡——他开发了一整套发明，使灯泡的使用变得切实可行。爱迪生以现有的煤气照明系统为基础设计了他的照明技术。1882 年，他在伦敦的霍尔本高架桥上展示了电力可以从位于中心的发电机通过一系列电线和管道(也称为导管)进行分配。与此同时，他专注于改善发电，在曼哈顿下城开发了第一个商业电力设施，名为珍珠街站。为了记录每个用户用了多少电，爱迪生发明了第一个电表。

他是一个有争议的人物，但是他遵循了一个简单的规则来使用电力。开发一个用户需要的产品，并想办法把它带给他们，这样他们就可以用它来改善他们的生活。

做出人们想要的东西。爱迪生制造产品，以及交付产品所需的支持技术。人们需要灯泡作为气体照明的更安全的替代品。

我们公司在产品 m1 上建立的“战略”就是这种可能性的文氏图。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们可以执行=我们有人才和知识来构建和销售它。我们比其他人都有优势

市场需要=有客户需求，整体融资/业务环境有利于相关活动

甜蜜点之外的想法通常是“如果我们做 X 不是很酷吗？”。

在人工智能领域，人们可以想到很多理论上很好的想法。例如，建立一个人工智能来取代律师。在我们的案例中:构建一个 ML 驱动的产品设计平台。你到底是怎么做到的？

艾产品

吴恩达的人工智能产品的良性循环是思考构建人工智能产品的一个很好的心智模型。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

由于 AI 需要数据来工作，所以像个人助理这样的 AI 产品会随着更多的数据而变得更好。优秀的产品会获得更多的用户，从而获得更多的数据，进一步强化这种正反馈循环。在他的演讲中，他说“谷歌和百度拥有如此复杂的数据获取策略，以至于我不知道一家小型初创公司如何能够开始获取人工智能产品所需的数据”。

Google Allo 现在突然有意义了。

当谷歌推出 Allo 时，全世界(包括我)都在嘲笑他们——他们的消息和聊天机器人策略似乎无处不在。如果他们这样做是为了获取 Google Home 的非结构化查询数据，我不会感到惊讶。通过将来自 Allo 的数据植入 Home，开箱即用的 it 工作得更好。

如果你有更多来自产品用户的数据，一个人工智能产品会变得更好。一个没有随着更多数据改进的产品是一个平台或一种使能技术，而不是一个产品。

服务也可以是产品，人工智能产品的定义与交付给最终用户的方式或所采用的商业模式无关。

人工智能创业剧本

对于小型人工智能初创公司来说，需要访问大量数据来构建人工智能产品可能会令人沮丧，特别是对于那些需要大量数据的产品来说，如个人助理。

没人说这会很容易。这不是不可能的。从语法上来说,正在复制谷歌规模的关于人们写作模式的数据。总有办法的。

玩法 1 :如果你是一家人工智能产品公司，你的产品策略和你的数据采集策略是一样的。

第二招:如果你在为一个产品搭建平台或提供技术支持，你就是在支持别人的产品。你受制于人工智能产品更广阔的市场环境。相应地行动和计划。

玩法#3 :所有 AI 产品公司都有某种形式的内部平台。如果要在构建产品和平台之间做出选择，那就构建一个产品。产品公司胜算更大，因为他们比平台公司捕捉到更多的价值。

去年获得资助的前 50 家公司很好地代表了市场现实。这是他们如何按类别细分的。分析链接

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

电表=支持另一种产品的技术，但本身不是产品

重头戏 4 :如果你是一家 B2B 人工智能公司，你需要一些特别的东西来赢得长期的构建与购买之争。从短期来看，“你没有内部专业知识”可能会满天飞，但这是一颗定时炸弹。大多数认真对待人工智能的公司都希望拥有自己内部的核心优势。

打法#5 :炒作已经过去了。人工智能和人工智能公司仍然是未来的热点，但如果你想长期获胜，你需要深入思考你在生态系统中的位置。

你是在为产品的采用建立一个产品、平台、组合、研究或支持技术吗？你是在建造灯泡，一家公用事业公司，试图发明电视或电表吗？从电的比喻中可以学到很多东西。从电力时代学习 GE、西联等相关公司。

玩法#6 :不要做创业，要创业。近年来，大多数人工智能初创公司的退出都是由收购。让我们面对它——作为一个行业，我们还没有想出如何从零开始建立一个长期、独立、大型和可持续的人工智能公司。互联网世界中的谷歌还没有在人工智能世界中诞生。可能是你。

第七场:没有剧本。如何获胜没有公式，没有模板。我们正在数字数据的基础上构建一个完整的产品和平台生态系统。这是前所未有的，也不知道结果会如何。

作为文化进化的一个子集，新技术的采用倾向于遵循生物进化的熟悉特征。

AI 为电，缩小后

进化是一种分形。

通过这个视频我了解了进化分形的概念。它有一个不被看好的开始，听起来有很多关于爱和意识的废话。但是，它的核心是一个非常强大的进化分形概念。数学分形在每个“缩放级别”看起来都是一样的，进化过程也是如此。

布鲁斯·利普顿从生物进化的角度解释了这个想法。

分形的一个结构特征相对容易理解:分形展示了一种重复的“结构”模式，这些结构相互嵌套。每个较小的结构都是一个缩影，但不一定是大结构的精确版本。分形数学强调整体中看到的模式和整体中部分看到的模式之间的关系。例如，树枝上细枝的模式类似于树干上分枝的模式。分形对象可以用“盒子”中的“盒子”、“盒子”中的“盒子”来表示，等等。如果一个人知道第一个“盒子”的参数，那么一个人就自动地被提供了表征所有其他(更大或更小的)“盒子”的基本模式

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

The Mandelbrot set, which you get when you iteratively graph f(z) = z2 + c. gif here

这篇文章的简短摘要是:

细胞膜必须决定让什么进出细胞。这是一个试图理解混乱环境的传感器
细胞的各个部分代表了一个为了更高的目标而共同运作的社会
在生命的最初 30 亿年里，只有单细胞生物——细菌、藻类、原生动物、原核生物。我们知道真核细胞是在 30 亿年后出现的，但这是怎么发生的呢？单细胞生物体的大小是有极限的，所以它不只是变大并进化出更多的组成部分
主要的理论是两个单细胞生物碰巧合并，产生的生物更适合并在环境中存活下来。真核生物出现了。
进化过程充满了这种重复的模式。他举了一个计算器芯片的例子，它达到了计算器的极限。芯片与其他芯片放在一起，连接在一起，组成一台计算机——你达到了极限，你就建立了分布式/云计算。

他最后宣称人类可能代表了脊椎动物进化的极限。在进化的下一个阶段，我们需要共同努力，就像单细胞生物变成多细胞生物一样。

所有的进化过程都是看起来一样的重复模式，即分形。

如果我们认为技术进步和采用是遵循相似模式的文化进化的一种形式，这将变得非常有趣。人工智能时代看起来像是电力时代的“缩小”分形。

我们现在有更好的能力来观察文化进化的分形本质，因为技术转变是在更短的时间尺度内发生的，遵循的是加速回报定律。

而且还会变得更快。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

谁来‘赢 AI’？没有一个玩家赢得了电。许多人赢得了电力。如果你能想出如何留在游戏中，每个人都有很多空间。如果人工智能的破坏将以同样的规模发生，会有唯一的赢家吗？

互联网

这个故事里的互联网在哪里？

在通过回顾电力时代来绘制人工智能路径时，我们在进化分形上“缩小”了一个层次，因此尽管原理可能是相同的，但它们的细节会有所不同。后端云基础设施是 Alexa 的交付机制，就像从变电站到用户家的电线是电力的交付机制。

我不认为互联网是人工智能生态系统的一部分。任何少于土地的东西都是电力生态系统的一部分。它就在那里，而你认为这是理所当然的。

电力和铺设的跨大西洋电缆使跨越大西洋的信息传递成为可能。你想拖就拖所有该死的电缆——如果你还没搞清楚电，电报就不会工作。

从众所周知的进化分形中抽离出来，我们正——恰当地——从现实世界走向数字世界。在这种环境下，我们认为互联网是理所当然的——它只是我们用来绘画的挂毯。就像现实世界中的土地一样。

紧急 AGI

我们正处于人工智能成为可能的开端。我们现在才安装第一批灯泡。我们处在 1890 年电力的时代。电话、收音机、电视、电子产品、电脑和互联网紧随其后——我们还没有看到它们在人工智能时代的对等物。

丹尼尔·丹尼特的这个演讲提出了有史以来最奇怪的问题:你如何从白蚁群体的大脑中获得高迪式的思维？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

总结一下:

复杂的行为有可能出现在不知道自己在做什么的愚蠢个体身上——没有理解力的能力。这就是为什么 7000 万只白蚁最终建造了一座看起来像高迪在巴塞罗那的教堂——圣家族教堂的白蚁城堡。
但是高迪是一个聪明的设计师。这是理解能力。你如何从 860 亿个对其更高目的毫无概念的神经元中得到人脑？
大脑是一种计算机，它接受输入并根据输入执行控制。它的工作方式不同于我们对数字计算机的概念，数字计算机是中央控制的，具有高度确定性，每个部分都有专门的角色，除此之外别无其他。大脑最好被认为是由 860 亿个神经元组成的汤，每个神经元都在做自己的事情，并试图生存。人脑的这种奇妙的计算由此产生
自下而上的设计比自上而下的慢，但它有能力结合起来创造更大的结构，因此探索进化设计空间更有成效。这就是进化——包括文化进化和生物进化——的工作方式，这似乎是解决长期问题的最佳方式

我们是愚蠢的，人类个体做我们的事情。我只是一只写这篇文章的白蚁——我不知道我的工作如何有助于一个更大的结构——人类正在建造一个 AGI。我无法聪明地设计这个更大的结构。每一个开始的公司和每一个推出的产品都是我们不理解的盲目的一步。理解和智能设计出现在许多许多的迭代中。

我相信 AGI 会以这种方式崛起——当它发生时，我们可能甚至不会承认。就像我们不承认自己是电子人一样，尽管我们可以通过手掌上的屏幕获取世界上所有的信息。

如果你喜欢这篇文章，请随意点击那个按钮👏帮助其他人找到它。

在 Product ML ，我们正在建立一个平台来创造人工智能驱动的产品体验。祝我们好运！

哎，为什么是现在？

原文：https://towardsdatascience.com/ai-why-now-a18166631ea3?source=collection_archive---------5-----------------------

人工智能现在很火。行业新闻中的一缕清风揭示了许多关于人工智能是商业未来的文章。然而，与某个年龄的计算机科学家交谈，你会听到关于支撑人工智能的技术没有什么新的东西，而是它们的时代已经到来。

为什么是现在？

人工智能是教计算机做人类觉得容易，但对机器来说很难的事情。计算机已经可以做很多人类觉得很难的事情，但它们在对你我来说很基本的任务上却步履维艰，比如观察、解释语言或识别行为模式。

这种天真的方法，也是多年来让人工智能备受指责的方法，说“让我们系统地整理这个世界，并教会计算机如何在每种情况下做出决定。”这对于外部世界不介入的小领域来说相当有效，但是任何接触过客户服务中心的人都明白这种方法的两个缺陷。首先，描述你可能遇到的每一种情况是非常困难的。第二，当规则不适用时，或者如果规则的适用会产生负面影响时，你需要能够打电话告诉他们该做什么。作为一个民主国家，我们早就知道这一点——这就是为什么法律是由立法者和法院共同制定的。

目前围绕人工智能的兴奋是基于补救第一个缺陷:让我们更容易编纂我们周围的世界。随着世界上越来越多的数字数据和大规模的计算能力，机器学习的方法可以用来训练计算机比以往任何时候都更好地识别模式。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Image by Charles Thonney from Pixabay

考虑解决互联网上最常见的问题之一:这张照片里有猫吗？规则优先的方法将意味着数据科学家试图教会计算机什么是“猫性”，并开发检测胡须、尖耳朵、自鸣得意的表情等的算法。如果一个图像有足够多的这些，它可能是一只猫。即使对于这个简单的应用程序，要做好也是非常困难的。

然而，给定足够多的猫的图片和深度学习的技术，我们可以依靠计算机进化出自己的“猫性”意识，而不需要人类来分解它。

结果既令人兴奋又平淡无奇。

不可思议的是，有机的和突现的现象现在可以被一个过度生长的桌面计算器识别出来。不起眼，因为一个婴儿也能做到。不错的把戏，但那又怎样？

“那又怎样”是我们可以召集成千上万的机器来识别模式，快速地做，并且在许多许多数据点上:远远超过任何可行的人类规模。这种识别过程，一旦磨练，可以超越人类的能力。

这就是为什么每个人都对人工智能感到兴奋:我们终于有足够的数据和足够的计算能力来开始处理对人类重要的事情:语言、视觉、犯罪、疾病。

令人兴奋的东西，但我将以一个警告结束:没有人真正能够解决人工智能的第二个缺陷。我们不知道如何教机器做出正确的判断。人类用他们的生活经验增加他们所看到的:他们能感觉到什么时候发生了。机器不能:它们看不到自己看不到的东西。这就是为什么人工智能的开发者如此关注伦理道德。“垃圾进，垃圾出”的老计算法则仍然适用于人工智能。我们用我们自己的活动产生的模式训练机器。因此，我们有能力大规模复制我们的偏见和错误，却没有人类的能力去感觉到有什么不对劲。

人工智能不仅令人兴奋，而且很危险。

人工智能的历史

原文：https://towardsdatascience.com/ai-writes-the-history-of-artificial-intelligence-4d585b537498?source=collection_archive---------5-----------------------

注:这篇文章是一个人工智能写的。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

二十世纪上半叶，科幻小说向世界介绍了人工智能机器人的概念。[ 0

虽然我们今天的工具更加复杂，但人们一直想知道在机器中创造人类智能意味着什么。[ 1

从那以后，在文学作品中出现了智能人工制品，而真实的(和欺骗性的)机械装置实际上显示了一定程度的智能。[ 2

从那时起，智能人工制品出现在文学作品中，而真实的(和欺骗性的)机械装置实际上显示了某种程度的智能。[ 3

第二次世界大战汇集了许多领域的科学家，包括神经科学和计算机科学的新兴领域。[ 4 ]

直到 20 世纪 50 年代，我们有一代科学家、数学家和哲学家，他们的头脑中已经在文化上同化了人工智能(或 AI)的概念。[ 5

艾伦·图灵就是其中之一，他是一位年轻的英国聚合物，研究人工智能的数学可能性。[ 6

在英国，数学家艾伦·图灵和神经学家格雷·沃尔特是两位面对智能机器挑战的聪明人。[ 7

在 20 世纪 40 年代和 50 年代，不同学科(数学、心理学、工程学、工程学、经济学和政治学)的少数科学家开始谈论创造人工大脑的可能性。[ 8

工作已迅速成为人工神经网络研究的基础，并在人工智能研究中有许多用途。[ 9

自 1956 年以来，人工智能作为一个令人兴奋和富有想象力的概念，在几份报告批评缺乏进展后，人工智能研究的资金在 20 世纪 70 年代被削减。[ 10

计算器对于人工智能的历史至关重要，因为需要用预先计算的值创建精确的表格，这导致了查尔斯·巴贝奇在 1840 年设计的分析引擎的诞生，这启发了 20 世纪 30 年代和 40 年代创建的最早的计算机。[ 11

逻辑理论是一个旨在模仿人类解决问题技能的程序，由研究与发展公司(RAND)资助。[ 12

视觉系统，通过外部感受器、人造眼睛和耳朵来测量物体的距离和方向。[ 13 ]

第一次冬季人工智能以“专家系统”的引入而结束，这些系统已经被世界各地的竞争公司开发并迅速采用。[ 14

它于 1963 年被斯坦福大学收购，是首批由计算机控制的人造肩膀机器人之一。[ 15

在 20 世纪 80 年代末，一些研究人员支持一种基于机器人技术的全新人工智能方法。[ 16

一种完全不同的方法是通过测试来衡量机器的智能，这种测试是在智能的数学定义的基础上开发的。[ 17

目前，谷歌、脸书、IBM 和微软等大型技术公司正在研究广泛的人工智能项目，包括虚拟助手。[ 18

谷歌是这种新方法的先驱:数以千计的高性能计算机，支持并行神经网络，学习从多个谷歌用户的海量流数据中发现模式。[ 19

它的创造者使用了无数的人工智能技术，包括神经网络，并在三年多的时间里训练一台机器识别问题和答案的模式。[ 20

机器伦理领域关注的是给予机器伦理原则或程序，以发现解决它们可能遇到的伦理困境的方法，允许它们通过做出自己的伦理决定来伦理地运行。[ 21

此外，对机器伦理的研究有助于揭示当前伦理理论的问题，发展我们对伦理的思考。[ 22 ]

我认为，这种担心是由于一个根本性的错误，即没有区分最近在禽流感的一个具体方面取得的真正进展和建立一个敏感的自愿情报的巨大和复杂。[ 23

微软的联合创始人比尔·盖茨加入了杰出的技术大师和科学家的行列，发现了他对人工智能对人类文明的潜在危险影响和意想不到的后果的想法。[ 24

来源

[0]http://sitn . HMS . Harvard . edu/flash/2017/History-artificial-intelligence/
【1】https://www.kidscodecs.com/ai-timeline/
【2】https://en . wikiversity . org/wiki/History _ of _ artificial _ intelligence
【3】https://aitopics.org/misc/brief-history
【4】http://www.bbc.co.uk/timelines/zq376fr
【5】http://sit https://en . Wikipedia . org/wiki/History _ of _ artificial _ intelligence
https://en.wikipedia.org/wiki/Artificial_intelligence
【18】http://www . data versity . net/brief-History-artificial-intelligence/
【19】http://www.bbc.co.uk/timelines/zq376fr
http://www.bbc.co.uk/timelines/zq376fr
【21】https://en.wikipedia.org/wiki/Artificial_intelligence

注: 本文由 AI-Writer 出品。你给它一个标题，它写下内容。这些句子是从原文中挑选出来并加以解释的。同时保持给予 AI 的标题的上下文。我定期测试这个软件，以发现改进之处。我会定期发类似的文章。请多建议一些话题。我不确定这个系统能处理多少流量。如果你正在尝试，请温柔对待它。

双城 AirBnB:西雅图 vs 波士顿

原文：https://towardsdatascience.com/airbnb-in-two-cities-seattle-vs-boston-66fba22fc1c1?source=collection_archive---------7-----------------------

AirBnB 房源的定价、可用性和评论分析

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Photo by Tom Rumble on Unsplash

对于旅行者来说，AirBnB 已经成为常规酒店预订网站越来越受欢迎的替代品。它有助于将那些有多余房间或公寓的人与需要短期住宿的旅行者直接联系起来。

在今天的帖子中，我们将深入研究 Kaggle 为这两个城市提供的 AirBnB 数据集，其中包括三个 csv 文件:日历、房源和评论。

我们将研究 AirBnB 来自数据集的住房数据的定价和可用性机制，并回答两个从数据集中获取宝贵见解的问题。最后，我们将结束第三个问题，展示一个将提供给列表的评论转换成其得分预测的回归。代码和数据可以通过补充的 github 链接到达。

问题 1:波士顿和西雅图的房价如何？它们有季节性吗？有导致价格上涨的事件吗？

波士顿的预订价格中位数是每晚 150 美元；而西雅图是每晚 109 美元。全年来看，波士顿一晚的费用明显高于西雅图。

总的来说，在夏季期间，这两个城市的预订价格都会上涨。

虽然在西雅图数据中没有明显的峰值，但是在波士顿数据集中出现了一个特别有趣的峰值。在 4 月 17 日举行的波士顿马拉松比赛期间，有超过 3 万名参赛者参加，AirBnB 在该地区的价格似乎上涨了每晚 34 美元左右。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Chart 1: Comparison of Average Home Price over dates

问题 2:这两个城市全年的房源情况如何？

在波士顿，在任何给定的时间，有 49%的机会可以找到任何房源，而在西雅图，这个数字要高得多，为 67%。这可以解释为波士顿的供需比高于西雅图。这可能意味着波士顿是一个更受游客欢迎的目的地，因此认为相对于西雅图更难找到房子。

当谈到房子的可用性时，西雅图和波士顿都具有相对均等的分布，除了在 95%以上的时间有房子可用的高峰。这些可能是房子，如那些有不合理的高定价和没有吸引力的方面来支持这一价格。

在波士顿，有 891 栋房子非常受欢迎，而且只有不到 5%的时间可以入住。由于多种因素，如位置、价值和清洁度，这些房子是最受欢迎的。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Chart 2 : Availability of Boston vs Seattle

对于波士顿和西雅图，数据集中记录的列表项的数量全年保持不变，分别为 3586 和 3818，而它们的可用性作为每天变化的布尔值提供。

下面的可用房源比例图中最直接的部分可能是，在数据的前三个月，有一个持续上升的趋势。这是因为所提供的数据是拍摄的快照，越接近快照日期的预订率越高。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Graph 3: Proportion of Listings available

问题 3:我们可以使用回归从评论中预测评论分数吗？访问者对某个列表的评论是否给了我们足够的信息来猜测该列表的评论分数？

Reviews.csv 包含用户对预订的评论，Listing.csv 文件包含每个列表的平均评论分数。我想看看从作为练习提供的评论中预测评论分数的潜力。

为此，我将把为一个列表提供的所有评论连接成一个字符串，应用文本清理、特征提取方法和 ML 回归来预测我的响应变量，即 评论评分 。

我们将使用的提取特征的方法 TFIDF 类似于单词袋方法，但是考虑到了频率并降低了语料库中更常见的单词(整个单词世界)的影响。

在使用 TFIDF 矢量器进行特征提取后，我们将使用交叉验证来测试三种不同的机器学习算法:Scikit learn 的随机梯度下降回归器，DMLC 的xgboostrgressor和 Yandex 的 CatBoostRegressor 具有不同的学习速率。通过查看最低的 MSE 验证误差，我们应该能够选择在 NLP 管道中使用的回归变量和参数。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传