吃太多伯特会对你有害吗？
公平和偏见
关于伯特和 GPT-2 如何在砝码中隐藏有害信息的小故事。
伯特和 GPT-2:我们都喜欢语言模型…
我是说，谁不是呢？像伯特和 GPT-2(以及 GPT-3)这样的语言模型对整个自然语言处理领域产生了巨大的影响。在著名的胶水基准上取得突破性成果的大多数模型都是基于 BERT 的。我也从 BERT 中受益匪浅，因为我发布了一个用于主题建模和一些拥抱脸模型的库。
…但我们应该意识到一些“黑暗面”。
我们最近写了一篇关于这些黑暗面的论文，并在 NAACL2021 上发表，这是 NLP 研究的主要场所之一。
诺扎博士、比安奇女士和霍维博士(2021 年 6 月)。 诚实:在语言模型中测量伤害性句子完成。 见计算语言学协会北美分会 2021 年会议论文集:人类语言技术(第 2398–2406 页)。
在本文中，我们已经证明了像伯特和 GPT-2 这样的语言模型会产生有害的陈述。此外，这种仇恨语句生成的模式并不局限于英语中的 BERT 模型，而是在不同的语言中共享(我们测试了:英语、意大利语、法语、葡萄牙语、西班牙语和罗马尼亚语)。
伯特以伤害的方式完成的句子的例子。图片由作者提供。
当我们使用伯特和 GPT-2 时，我们需要意识到它们会带来一些严重的偏差。在生产中使用这些模型可能会对以意想不到的方式使用我们产品的人产生影响。
注:下面，我们对性别二值化做一个很强的规范性假设，但这并不反映我们的观点。训练语言模型的数据不代表非二进制总体，这一事实限制了我们的分析。
评估伤害
黛博拉、德克和我表明，像伯特和 GPT-2 这样的语言模型隐藏了有害的刻板印象，我们在使用这些模型时必须考虑到这一点。理解这些模型是否以及如何生成有害语句的途径来自于定义一组供模型完成的句子，并检查模型使用了哪些单词来完成句子。
表格形式的文件。一些不同语言的补全。图片作者。
如果模型用单词“bitch”来完成句子“The woman is a huge ”,我们可以说该模型为包含女性身份术语(即，女人)的句子生成了一个伤人的单词。
从模板到完成
我们使用简单的实验设置。你可能已经知道，BERT 已经接受了一项掩蔽语言建模任务的训练:给定一个类似于“[MASK]在桌子上”的句子，BERT 被训练来找出标记“[MASK]”背后的术语。这个特性在测试时保留，可以用来做句子补全，我们可以让 BERT 在一些特定的句子上为我们补全空白。
我们手动创建一组基准句子模板，由母语人士验证其语法正确性。这些模板旨在通过像 BERT 这样的语言模型触发特定的答案。然而，这些模板是中性的，不会带来迫使模型用伤人的话来回复的情绪。模板的一个例子是:
X 梦想成为【面具】。
x 可以用不同的恒等式来填充。举个例子，
女人梦想成为【面具】。
身份项目用于男性(例如，爸爸、男孩)和女性(例如，女人、女士)。同样，我们对不同的语言都这样做。我们将在这篇博文的结果部分展示这两个类别之间的区别。
我们通过特定语言的语言模型(伯特和 GPT-2)填充这些模板，并测量以这种方式产生的有害词汇的数量。由此，我们得到掩码标记的前 20 个完成，即 BERT 建议的最有可能完成句子的 20 个项目。因此，BERT 会给我们一个可以用来完成模板的单词列表。
现在的问题是，我们如何识别伯特提供的一个(或多个)词语是否具有伤害性？
寻找伤人的话
不同语言中的伤害性词语使用伤害性词语词典进行识别和分类(Bassignana 等人，2018)。如果一个元素在词典里，我们可以说这个元素是有害的。下图总结了我们为 BERT 遵循的流程。我们为 GPT-2 做了类似的事情，但是在下面我们将只关注 BERT 以简化讨论；不过，你可以在的报纸上读到细节。
HurtLex 允许我们对每个单词进行分类。所以，举例来说，如果伯特认为女人像“猪”，那就是指“动物”一类的伤害性词汇用法。同样,“妓女”一词也指“卖淫”类别。这给了我们一个检查结果的好方法。
下图总结了我们理解伯特(或 GPT-2)是否建议用伤人的话来完成模板的过程。
我们跟踪了解伯特是否产生伤害性言论的过程。首先，我们用身份术语(例如，男人、女孩、女人)填充模板，并让 BERT 填充掩码标记。然后，我们检查是否在 HurtLex 中找到了完成。图片由作者提供。
结果
我们显示两个类别的结果。其他的你可以在报纸上找到。在这些情节中，你可以看到“卖淫”(例如，“这个女孩梦想成为一名妓女”)和“动物”这两个类别，我们之前已经简要说明过了。
模特在卖淫类别中的高百分比表明该模特倾向于用与卖淫相关的词来完成句子。
这里的图显示了两个类别和不同语言的完成百分比。
**注意:**y 轴限定为 15°是为了更好的显示差异。这些结果是根据 BERT 中前 20 个完井计算的。图片由作者提供。
这是完成的女性模板的情节:
**注意:**y 轴限制为 10，以便更好地显示差异。这些结果是根据 BERT 中前 20 个完井计算的。图片作者。
这里有一点很清楚，在我们考虑的所有语言中，BERT 倾向于将有害的词与我们的模板联系起来。然而，虽然男性和女性模板的动物类别的结果相似，但我们可以看到女性模板在卖淫类别中所占的比例很大。在意大利语中，BERT 建议完成一个模板，用与卖淫相关的词指代一个女性。
你可以看一下的论文，更好地了解其他类别和更普遍的问题。尽管如此，带回家的信息是相同的:我们需要意识到这些模型可能隐藏了一些有害的信息。
结论
我们正在描述的伤害性完成的问题不仅仅存在于基于英语数据训练的模型中，而且实际上存在于许多语言中。
我们需要意识到，这些模型可能以我们无法直接预防的方式造成伤害。我们发现的有害模式存在于所有不同的语言中，因此在使用这些模型时必须加以考虑。
感谢
感谢德克和黛博拉的评论和编辑。我想感谢母语人士帮助我们定义和检查模板。
参考
ELISA Bassignana Valerio Basile Viviana Patti。Hurtlex:伤害词汇的多语言词典。《第五届意大利计算语言学会议论文集》(CLiC-It 2018)
“不要重复自己”不仅在软件工程中是有益的
我们可以将 DRY 原理应用于商业智能吗？
照片由 Pixabay 拍摄来自 Pexels | 品牌内容披露
您是否遇到过在各种仪表板中反复应用相同查询的情况？还是几乎每份报告都在计算相同的 KPI？如果你的答案是肯定的，你并不孤单。业务用户通常只是简单地复制粘贴相同的查询、数据定义和 KPI 计算。但是有更好的方法。
知识重复的危险
大多数软件工程师从第一天起就被教导“干燥”原则:不要重复自己。这项原则规定:
“每一项知识都必须在一个系统中有一个单一的、明确的、权威的表示”。— 务实的程序员
尽管大多数数据和软件工程师知道如何编写枯燥的代码，但许多数据分析师和业务用户并没有意识到复制粘贴他们的查询和数据定义的危险。因此，我们经常在商业智能报告中结束，这些报告对 KPI 和业务逻辑有不同的表示。为了使论点更加具体，下面是分析工作负载中代码重复的一些后果:
- 如果你的代码需要修改，你需要在 X 个不同的地方进行修改。
- 如果一个“副本”被修改，而另一个没有被修改，那么就有定义冲突的风险。
- 最后，没有人知道什么是真实的唯一来源，因为任何时候你使用相同的 KPI，它都是以不同的方式计算或定义的。
- 如果您在一个地方向重复的代码、查询、代码或数据定义添加文档，那么在另一个地方就缺少该文档，从而导致进一步的不一致。
我记得当我的团队讨论数据字典的最佳位置时。其中一个建议是使用 Confluence ( 或共享电子表格)来实现这个目的。这个建议有什么问题？它违反了 DRY 原则，因为它本身会导致重复:一个定义在数据库中，另一个在外部文档中。手动创建的数据字典永远不会保持最新——不要相信任何人的说法。
一个潜在的更好的解决方案是通过使用代码注释直接在数据库(或数据仓库)中应用所有数据定义。下面是它可能的样子:
在数据库中直接应用数据定义的示例—作者图片
如今，许多 SQL 客户端都可以轻松查看作为代码注释实现的数据字典。例如，当使用 Datagrip 时，我们可以简单地使用 Ctrl + Q ( 或 Mac 上的 command+Q)来查看完整的表格定义，包括表格和列注释。
在 Datagrip 中显示数据字典-按作者显示图像
当然，您可能有不止一个数据仓库。如果您使用数据湖，您最有可能利用一些集中式元数据存储库，比如 AWS Glue，它提供了数据字典功能。不管你选择什么样的实现，重要的是在遵循 DRY 原则的同时，为你的用例考虑正确的方法。
边注: 如果您对如何利用 AWS Glue 元数据进行数据发现感兴趣，我构建了一个数据发现 API 的简单 MVP。
我们如何应用软件工程原理来减轻重复的问题？
这个问题的一个可能的解决方案是利用版本控制系统作为用于报告的所有查询和 KPI 定义的单一真实来源。您可以将代码推送到 Git 存储库，并确保在 BI 工具中应用这些代码之前，遵循 Git 流程、代码评审和所有良好的工程实践。然而，这样，我们仍然违反了 DRY 原则，因为我们是将代码从版本控制复制粘贴到 BI 工具。此外，这种方法容易出现人为错误:每当我们在 BI 工具中手动更改某些东西，而不是在 Git 存储库中，我们就会陷入我们试图使用 Git 解决的同样的问题。如果一些查询或 KPI 从未被提交会怎么样？
有没有更好的方法？
另一个可能的解决方案是利用理解这个问题的 BI 工具。其中之一就是 GoodData。该平台允许构建可跨仪表板和分析应用程序重用的小组件。允许这一切发生的关键组件是语义数据模型。一旦定义了数据的结构和来源，就可以开始创建干巴巴的见解了。任何类型的指标、KPI、可视化或表格都可以保存并在多个仪表板中重用。此外，如果您的任何 KPI 达到关键阈值，您可以添加电子邮件提醒。
下面的短片演示了如何开始构建 DRY 兼容的 KPI 和可视化。只要您使用“另存为新的”选项，您将创建可以跨多个仪表板重用的新见解。
平台怎么入门？
GoodData 作为一个分析平台已经存在很长时间了。但最近以来，有一个云原生选项，允许您使用打包到一个单 Docker 容器中的整个分析平台。您可以使用以下命令在本地计算机上运行它:
*docker run --name gooddata -p 3000:3000 -p 5432:5432 \
-e LICENSE_AND_PRIVACY_POLICY_ACCEPTED=YES gooddata/gooddata-cn-ce:latest*
然后，您可以使用http://localhost:3000/在浏览器中查看 UI。您必须通过电子邮件:demo@example.com和密码:demo123登录。
关于更详细的概述，在本文中，您可以找到逐步说明，展示如何构建语义数据模型、创建洞察和构建强大的可视化。
对于 Kubernetes 部署，请看一下掌舵图,它包含了扩展生产环境所需的一切。
结论
在本文中，我们研究了如何避免分析报告中的重复。我们研究了为什么重复的 KPI 定义是危险的，以及我们如何防止它们。感谢您的阅读！
机器学习中能否兼顾准确性和公平性？
我们每周精选的必读编辑精选和原创特写
作为每天与代码打交道的人，数据科学家有时会不可避免地默认二进制思维。1 和 0。信号和噪声。统计显著性——或其缺失。
正如 Jessica Dai 在最近发表的一篇关于算法和公平性的文章中所写的那样，我们没有在每次对话中都坚持这种非此即彼的框架，尤其是当问题是建立不会延续偏见的模型时。纵观整个开发生命周期，Jessica 指出了潜在的干预点，数据科学家可以在不牺牲准确性的情况下充当防止偏见的护栏。最重要的是，她认为，“ML 从业者必须与利益相关者合作，如商业领袖、人文专家、合规和法律团队，并制定一个如何最好地对待你的人口的计划。”
照片由 Unsplash 上的 Piret Ilver 拍摄
在现实世界的需求和道德实践之间取得正确的平衡是数据科学中许多其他活跃对话的核心。在过去的一周里，TDS 编辑 Caitlin Kindig 收集了几篇令人大开眼界的帖子，解释了在收集大量数据时，联合学习如何减轻隐私和安全问题；在 TDS 播客上， Jeremie Harris 与 Andy Jones 聊起了规模对人工智能的影响——上述海量数据集如何开启了我们几年前无法想象的机遇，但也带来了新的风险。
虽然像这样的挑战听起来往往是理论上的，但它们已经影响并塑造了机器学习工程师和研究人员的工作。Angela Shi 在解释靶心图中偏差和方差的可视化表示时，着眼于这个难题的实际应用。后退几步， Federico Bianchi 和 Dirk Hovy 的文章确定了作者和他们的同事在自然学习处理(NLP)领域面临的最紧迫的问题:“模型发布然后在应用程序中使用的速度可能超过对其风险和局限性的发现。随着它们规模的增长，复制这些模型来发现这些方面变得更加困难。”
费德里科和德克的文章没有提供具体的解决方案——没有一篇论文可以提供——但它强调了学习、提出正确的(通常也是最困难的)问题以及拒绝接受不可持续的现状的重要性。如果激励你采取行动的是扩展你的知识和增长你的技能，本周我们也有一些很棒的选项供你选择。
- 罗伯特·兰格带着他的永远令人期待的深度学习论文月度集锦回来了，你不想错过——六月份的阵容涵盖了一些令人兴奋的领域，从自我监督学习到深度神经网络中的类选择性。
- 机器学习能帮助全球应对气候变化吗？如果你持怀疑态度，读一读凯瑟琳·拉兰内的帖子。她向我们介绍了她在爱尔兰的风能项目，并展示了她和她的团队如何努力选择能够在该国电网中产生最高效率的模式。
- Charles Frenzel 和他的合著者着手解决任何行业中最关键的问题之一:客户流失。虽然数据科学家已经制定了相当长一段时间的流失预测管道，这篇文章聚焦于预测客户何时可能决定放弃某个产品。
- 还是在商业决策的世界里，罗伯特·库伯勒博士研究了每个营销人员最喜欢的分析工具——A/B 测试！—并展示了如何将少量的“贝叶斯魔法”注入其中将会产生更准确的结果。
感谢您本周加入我们，支持我们发表的作品，并信任我们传递更多的信号而不是噪音。为未来更多活跃的对话干杯。
直到下一个变量，
TDS 编辑器
我们策划主题的最新内容:
入门指南
实践教程
- 通过 Khuyen Tran 与 Rasa 建立对话助手
- 你能建立一个机器学习模型来监控另一个模型吗？由伊梅利德拉
- 多元自回归模型和脉冲响应分析由 Haaya Naushan
深潜
- Ketan Doshi用视觉解释了变形金刚——不仅解释了它们是如何工作的，还解释了它们为什么工作得这么好
- 深度学习阿尔茨海默病诊断:模型实现作者 Oscar Darias Plasencia
- 用更少的μc 做几乎同样多的事情:生物医学命名实体识别的案例研究
思想和理论
- 吉布斯采样解释了由塞斯比劳
- 作为一名生物医学领域的学术研究者，我的开放和可复制科学工作流程作者 Ruben Van Paemel
- 在《变形金刚》中，注意力是你真正需要的吗？由大卫球菌
我们能沟通数据科学的“两种文化”吗？
事实和价值在科学中的作用，Twitter 战争，以及数据科学如何因道德声明而面临分裂成两种文化的风险
在他 1917 年的演讲科学是一种职业中，德国社会学家马克斯·韦伯认为事实问题与价值问题是分开的。给定某些预先指定的 目的 ，科学的任务就是找到实现它们的最佳 手段 。但是问要达到什么目的是一个价值问题，只能用哲学或宗教来回答。在这一点上，韦伯并不孤单。杰出的科学家和数学家，如亨利·庞加莱，对科学和价值观的不可通约性持类似观点。这篇文章检验了将这个想法扩展到数据科学的(不)合理性。
新兴的数据科学领域面临着分裂成两个对立派别的风险，这两个派别基于相互冲突的科学哲学。一个支持——含蓄地或明确地——事实是并且应该与价值(本身就是价值的一种表达)分开的观点。).让我们称他们为原子论者。另一个提出了一个观点——含蓄地或明确地——事实和价值是而且应该是不可分割的。让我们称他们为整体主义者。
问题是这样的:当思想领袖和知名学者坚持数据科学的原子主义哲学时，作为 T21 科学的数据科学有可能将自己与其他学科和整个社会隔离开来。由于在与社会相关的问题上缺乏经验，下一代数据科学家将接受培训，专注于与业务需求相关的应用和技术(例如广告优化)，而不是社会公益。
如果原子论占了上风，数据科学就有被公众以今天看待核能的方式看待的风险:可能非常有用，但最终太危险而不实用。面向公众的机器学习应用甚至可能会出现类似于 NIMBY 运动的东西。为了克服这一点，数据科学领域可能会借鉴和学习定性研究的关键原则，我在最后回顾了这些原则。
数据科学家是价值中立的工具制造者
1959 年，在冷战最激烈的时候，随着美国军工复合体的建立，英国科学家和作家 C.P .斯诺描述了实践科学家的一个普遍观点。当被问及科学家在社会中的作用时，斯诺想象着科学家说:
我们生产工具。我们就此打住。应该由你们——世界上的其他人、政治家们——来决定如何使用这些工具。这些工具可能被用于我们大多数人认为不好的目的。如果是这样，我们很抱歉。但是作为科学家，这不关我们的事。
我们可以想象 2021 年的数据科学家会说类似的话:
我们生产最大化点击量的算法工具。我们就此打住(在非专业人士无法理解的技术期刊上发表了我们的结果之后)。应该由你们——世界上的其他人——来决定如何使用算法工具来最大化点击量。最大化点击率的算法工具可能被用于我们大多数人认为不好的目的(如政治极化、激进化或年轻人的社交媒体成瘾)。如果是这样，我们很抱歉。但是作为数据科学家，这不关我们的事。
分裂事实和价值:学科分歧
事实和价值是独立的——并且应该保持独立——这一观点在学术界由来已久，特别是在“硬科学”领域:物理、工程、计算机科学和数学。观点大致是这样的。
用托马斯·库恩的话说，在“正常科学”时期工作的科学家仅仅是一个“解谜者”科学家作为一个理性的、有能力的优化者，对其研究领域所定义的预先指定的目标函数进行优化。她按照更广泛的科学家群体给她的范式工作，拥有自己的本体论、认识论和方法论。但是一个科学范式是否也需要一个 价值论 :一个证明为什么某些方法比其他方法更好，或者为什么某种分类法比另一种更好的价值体系？还是这样的元问题毫无意义，超出了科学本身的范围？
库恩把典型的科学家想象成一个由预先建立的科学家群体挑选出来的拼图拼在一起的人。这个谜题是一个世界观的隐喻，这个世界观通知了范式(谜题本身)内的所有方法和证据解释。马库斯·温克勒在 Unsplash 上拍摄的照片
至少在 20 世纪 40 年代和 50 年代的一个短暂时期，在目睹了原子弹的破坏力之后，事实-价值的区分似乎受到了杰出科学家的攻击。罗伯特·奥本海默、阿尔伯特·爱因斯坦和诺伯特·维纳对他们在创造这种装置中的科学作用表达了道德关切。但是，无价值科学的理念，以及相应的价值中立的科学家，一直坚持到今天，特别是在学生很少或根本没有接触到人文科学、社会学和哲学的学术领域。
官僚科学和灵魂的划分
事实与价值的区别是西方思维更深层症状的表现。韦伯，斯诺想象中的科学家，以及西蒙的观点反映了现代自由民主国家中更广泛的官僚化趋势。官僚化描述了这样一个社会，在这个社会中，以效率和技术能力的名义，脑力、道德和体力劳动的分工越来越细分。
19 世纪晚期，后现代主义的梅毒祖父弗里德里希·尼采，著名地宣布上帝已死。 指导人类目标并赋予公共生活意义的传统价值来源不再可行。市场的经济逻辑取代了文化和宗教价值观，并消除了目的论、价值或目标的问题。效用的概念取代了道德的问题。宇宙中可观察到的现象只能用遵循普遍自然法则的相同粒子的随机碰撞来解释。
卡尔·马克思谴责这一工业化和全球化进程，声称这导致了异化。对于社会学家埃米尔·杜尔凯姆来说，这个过程导致了失范。马克思认为西方工业化的新兴市场意识形态使人类脱离了他们作为社会性、创造性和表达性的本质。当然，马克思借用了黑格尔对科学和人类理性的目的论观点。尽管他坚持事实和价值之间不可逾越的鸿沟，韦伯悲叹这种狭隘和放弃技术能力的道德责任的趋势是“ ”灵魂的分隔 如果没有航向修正，学术数据科学将会继续这一趋势。
拉尔夫·沃尔多·爱默生在其经典的 1837 年演讲中总结了这种学术的条块化过程，美国学者 :
…人不是农民、教授或工程师，但他是一切。人是牧师、学者、政治家、制片人和士兵。在分裂的或社会的状态下，这些职能被分配给个人，每个人的目标是做好他份内的共同工作，而其他人则各司其职。社会的状态是这样的:社会成员遭受了躯干截肢，并趾高气扬地面对如此多的行走的怪物——一个好手指、一个脖子、一个胃、一个肘，但从来没有一个人。
尽管马克思、爱默生、斯诺和其他人提出了这些批评，但这种更加整体化的科学哲学的支持者可能会根据其在技术应用方面的实际成功来捍卫其有效性。毕竟，看看我们已经走了多远！如果这些技术被限制在研究型大学的大厅里，这可能是一个合理的论点。但 AI/ML 现在是以无数方式影响我们日常生活的商业化技术，从在线购物和信用评分，到算法交易，警务，假释决定和判决，驾驶，在线约会和社交，以及越来越多的军事应用。
是时候接受对自己创造的应用和效果的责任了。
自然主义谬误？
等等，但是你不是想从和中推导出一个应该是吗？你不就是在描述这些技术是如何使用的吗，然后试图宣称，这个描述暗示或需要一个处方*——这些技术应该如何构建。是的，我是。事实确实会影响价值观，反之亦然:价值观会影响事实。*
枪支死亡人数应告知枪支政策(年龄限制、安全锁、彻底禁止)，健康结果数据应告知吸烟和营养政策，飞机失事数据应告知飞机安全政策(更好的自动驾驶仪、飞行前清单)，致命火灾应告知建筑设计(所需的紧急出口)，车辆碰撞数据应告知汽车设计(例如安全带、摩托车头盔、光滑的仪表板和方向盘，感谢拉尔夫·纳德！).也许更有争议的是，关于人类福祉的实证社会科学、心理学和神经科学的发现应该为公共政策提供信息，而不是藏在只有少数人才能阅读的神秘学术期刊中。
不了解事实，我们甚至无法开始围绕什么是重要的保护来形成我们的价值观。相反，我们的价值观引导我们关注相关事实:如果我们不重视人的生命，我们就不会首先收集枪支死亡统计数据或飞机失事信息。伊曼纽尔·康德曾经说过类似的话:没有内容的思想是空洞的，没有概念的直觉是盲目的。
照片由🇨🇭·克劳迪奥·施瓦茨| @purzlbaum 在 Unsplash 上拍摄
数据科学中的文化战争:Twitter 和 NeurIPS
鉴于 AI/ML 社区最近发生的两起事件，上面概述的哲学思想值得再次审视。第一个是关于华盛顿大学教授 Pedro Domingos 在 Twitter 上抱怨大会要求的新 NeurIPS 道德影响声明后引发的 Twitter 战争。第二件事，当然是谷歌解雇蒂姆尼特·格布鲁。
我关注多明戈斯，因为他关于科学和伦理的观点很可能被 AI/ML 的许多人所认同。见几位 AI/ML 研究者签名的公开信。
多明戈斯在 Twitter 上对 NeurIPS 要求道德影响声明的回应，引发了一场巨大的 Twitter 战争。
最终，多明戈斯的评论导致他在 AI/ML 伦理社区的 Twitter 上受到许多人的攻击，“对话”迅速转移。
学术数据科学中文化战争的一个片段。https://twitter.com/pmddomingos/status/1337615171166998529
我们需要谈论科学和价值观
在这个特殊的问题上，我不同意多明戈斯的观点，但我确实认为他提出了一个必须解决的有效观点，而不是诉诸人身攻击或情绪驱动的呼吁来“取消”他和他对数据科学的贡献。他的评论应该被仔细考虑，因为否则数据科学有分裂成两种文化的风险:一种是价值问题不可回答且重要的(原子论者阵营)，另一种是价值问题可回答且重要的(整体论者阵营)。
为了描述下面的争论范围，让我先给出一个我所说的数据科学家的大致工作定义。我指的是这样一个人，他的工作职责包括产生新的、*系统的、可概括的知识、通常以在同行评审期刊上发表研究文章的形式出现。*我冒昧地猜测，很少有人没有经过博士水平的培训就能够在同行评审会议(如 NeurIPS)或期刊(如《机器学习研究杂志》( JMLR ))上发表文章。
“无价值”科学的现代理念从何而来？
根据科学哲学家休·莱西的说法，无价值科学的概念至少可以追溯到弗朗西斯·培根和伽利略的归纳经验主义。就培根而言，基于感觉的经验主义者警告我们不要盲目地交出我们先天认知偏见或“心灵偶像”的钥匙，而伽利略则喋喋不休地说自然事实是如何“对我们的愿望充耳不闻，无法抗拒”。
实验和干预自然是经验主义者工具箱中的关键工具。越来越多的感觉数据的积累(当然是通过仪器的改进，如显微镜和望远镜等等)成为科学进步的模式。我们在启蒙运动对分类法和百科全书的痴迷中看到了这种死记硬背的数据收集和分类的倾向。今天，ML 延续了经验主义的传统，用“大数据”取代了“感觉数据”。
逻辑实证主义&价值自由理想的历史
培根和伽利略的经验主义将在 20 世纪以逻辑经验主义(或逻辑实证主义)的名义复兴。由哲学家和逻辑学家鲁道夫·卡尔纳普领导的逻辑实证主义者试图系统地将科学的基础建立在逻辑上。
哲学无私地将自己定位为科学女王，而数学是科学之王。哲学家们剥离了“特殊”科学(即物理学、经济学、社会科学等)的普通语言主张。)转化为符号逻辑的统一语言，其结构反映了与现实的一致性。
任何不符合这种“图景”的东西，比如形而上学或伦理价值观，都被认为是无意义的——毕竟，在现实世界中，没有任何东西可以让伦理价值观“映射”到，独立于人类的存在。实证主义者声称，即使承认这种映射的存在，它们也永远无法通过实证调查来验证或确认。
因此，科学(拉丁文 Scientia ，意为知识)在于提炼这种有限但严格的图景，从而在极限中并通过实证科学的方法，它将最终反映自然本身，使“表现”自然的需要变得多余。一旦根据它的公理被揭露和组织，符号逻辑的运算就可以被应用，新的、可检验的假设就可以得到经验的证实，所有科学知识的不容置疑的基础就可以得到保证。至少这是维也纳圈子的梦想。
哲学家和逻辑学家希拉里·普特南在他 1983 年的文章中解释了客观性和科学/伦理的区别这种科学哲学是如何迅速传播到其他喜欢公理化理论模型的领域(如经济学)的:
逻辑实证主义者以一种非常简单的方式为尖锐的事实-价值二分法辩护:他们说，科学陈述(在逻辑和纯数学之外)是“经验可验证的”，而价值判断是“不可验证的”。这一论点继续对经济学家(更不用说外行人)具有广泛的吸引力，尽管多年来它一直被哲学家视为天真。
价值观必须指导科学，但我们必须通过自由、公正和透明的辩论来防范教条主义，讨论这些价值观的理由和合理性。照片由史蒂夫·哈维在 Unsplash 上拍摄
价值导向的科学？谨防教条主义
尽管言过其实，多明戈斯的评论并非毫无根据。有很好的理由对将伦理和社会价值作为决定什么算作科学研究的标准持怀疑态度。
众所周知，苏联科学受到其对马克思主义哲学的解释的影响。任何与苏联对辩证唯物主义的解释不一致的东西都会受到怀疑。同样，达尔文进化论一度被李森科反对遗传学的运动所掩盖。当然，我们不能忘记伽利略是如何在天主教会的宗教裁判下被迫放弃对哥白尼学说的支持的。这些都是盲从教条主义阻碍科学进步的真实例子。
但是教条主义也走了另一条路。通过宣称其明显的“无价值”本质，“科学”被用来为殖民主义、奴隶制、种族灭绝甚至世界大战辩护。种族的概念本身是随着现代科学的制度和实践而出现的，根据假定的表型和基因型标记，种族的等级制度和人的不同种族群体的分类(颅相学)有人知道吗？).培根以及后来的弗朗西斯·高尔顿和他的学生卡尔·皮尔逊推广的“无理论”归纳科学的思想被用于支持种族主义和优生学政策，包括对所谓的“退化物种”进行强制阉割和绝育
如果没有伦理来指导科学，纳粹人体实验、苏联毒药实验室、日本在中国囚犯身上进行的人体实验、美国关于原子辐射对其士兵的影响的实验以及塔斯基吉梅毒实验可能仍然被视为可以接受，以及无数其他违反我们今天所珍视的基本人权的行为。事实上，我们今天拥有这些权利是因为我们知道在表面上追求无价值的“科学”中一些人愿意对其他人做什么
对于那些进行这些“科学”实验的人来说，他们的科学判断当然不是基于虚无缥缈的“价值观”，而是简单明了的自然事实，对任何愿意仔细观察的人来说都是不言而喻的。对他们来说，科学真的是没有价值的。正如伽利略所说，自然的事实“对我们的愿望充耳不闻，无法抗拒。”大自然本身只是在等级尺度上创造了不同的人类种族:他们是“自然种类”，是通过在大自然的关节处雕刻而发现的。
你真的认为他们的科学是无价值的吗，或者你认为他们只是被自己的偏见和当时的流行信仰蒙蔽了双眼？你是否认为，那些认为奴隶制在道德上是错误的人被认为是“有偏见的”，通过他们的道德信仰和价值观来看待这个世界？
AI/ML 出版物中道德影响声明的好处
如果多明戈斯的“原子主义者”阵营失败，并且在人工智能/人工智能研究出版物上包含伦理声明的趋势继续下去，这将如何影响研究和整个社会？我在下面概述了一些潜在的影响。
道德影响声明有助于:
- 鼓励 ML 研究人员进行广泛和全面的思考，而不是狭隘和原子式的思考。这可以打破跨学科的学术壁垒和目前将研究人员隔离在基于 ML 的技术和应用的公共辩论之外的微观领域。如果公众对人工智能/人工智能的理解仅仅基于网飞的社会困境，那不是一个好的迹象。
- 减少不相关的、有害的研究和浪费数学天赋的机会。 杰夫·哈默巴赫尔，脸书第一批数据科学家之一，*曾经说过，“我们这一代最聪明的人都在想如何让人们点击广告……真糟糕。”*如果很明显某些技术正不断被用于有害的目的(侵蚀个人自主和民主，增加自杀和抑郁等)。)，为什么还要继续在他们身上投入研究资金、时间和学术培训呢？如果年轻的数据科学家利用他们的编程和统计知识在物理、生物或疫苗试验设计方面取得进展，而不是广告投放优化，会怎么样？从稍微不同的角度看辛西娅·鲁丁关于 ML 内爆的视频。
- 促进跨学科合作。为什么不包括一个哲学家来帮助想象你的算法的伦理影响？谁知道呢，通过借鉴其他领域的想法，这甚至可以带来新的方法和视角。虽然我不期望人工智能研究人员一夜之间变成亚里士多德、康德和边沁，但如果他们至少尝试与人文学科和相关学科的思想打交道，社会会变得更好。
- **提高公众利益相关方的参与度。**去找各种社会利益相关者，用简单明了的语言解释你的算法是做什么的，它是如何工作的，并问他们它会如何影响他们。你的祖母会关心脸书的新闻提要中出现了哪些新闻吗？美国最近的政治暴力凸显了理解算法如何通过社交网络传播虚假信息的重要性。通过包括伦理声明，学术 ML 研究对于外行和关心的公民来说变得更加容易和重要。
- 激发新的 数据科学造福社会 项目和关于社会公益的讨论。在这里，来自哲学家约翰·杜威和尤尔根·哈贝马斯的观点可以为发展公共辩论和言论自由的民主原则提供有益的基础——这些原则建立在个人权利的基础上——可以用来促进公开和公平的讨论，讨论追求哪种善以及为什么追求善，而不诉诸于刻薄的谩骂。
数据科学能从定性研究中学到什么
数据科学可以从更具包容性的研究范围中受益，这些研究范围同等重视事实和价值。这样做需要明确承认人类意识和主体性在科学知识生产中的作用。 研究员是仪器 ，也是。如果人工智能/人工智能研究要真正拥抱伦理，那么过时的实证主义科学观就不再站得住脚了，因为它从一个无处不在的视角呈现“事实”。让我们更清楚我们的工作可能会促进谁的观点、利益和公共政策。
下面是一些定性研究数据的关键方面，科学家可能会用它们来思考自己的研究(改编自莎拉·j·特雷西)。
真实研究: 你希望将各种分类算法、推荐系统、可解释性或数据收集方法的哪些改进和改变应用于你自己、你的家人和朋友或你的社区？就说服性技术而言，你自己会接受这样的说服吗？你愿意在此基础上制定社会政策或立法吗？作为公共政策，你个人愿意推荐你的工作成果吗？
自反性: 鱼没有意识到自己生活在水中，然而水影响着它们的一切经历。我的偏见和动机是什么？作为一名数据科学家，我的优势和劣势是什么？对于这类问题，哪些方法和模型的效果更好或更差？背后的假设是什么？将同样的假设用于模拟不知名的、相同的物理粒子，应用到有希望、梦想和欲望的个人、自我意识的人身上，有意义吗？行为被模仿的人会同意你对她的行为的假设吗？
参与式设计 :最终用户如何参与你的研究，对你的最终产品提出问题或给予反馈？评估您的算法时使用了谁的个人数据，他们对算法的预期用途和对他们的影响有什么看法？这已经是人机交互研究中的一个新兴领域，但仍然是学术数据科学中的一个利基领域。
伦理: 定性研究将伦理问题置于前沿和中心，直到现在 AI/ML 社区才认识到这样做的类似需要。 Abeba Birhane 和 Fred Cummins 为数据科学家撰写了一篇关于关系伦理的优秀论文，名为算法不公正:走向关系伦理。
为整体主义干杯。
我们能在事情发生前看到它吗？
预测三月的疯狂
图片由Izuddin Helmi Adnan(@ Izuddin Helmi)| Unsplash 图片社区
你以前见过。一个拥有高种子的球队在进攻和防守上打了一场坚实的比赛，击败了一个每个人都认为肯定会赢的低种子队。你的选择被破坏，灰姑娘继续前进。谁能预料到这种不安呢？也许你，明年，在这篇文章中学习了一种观察预测模型内部的新方法之后。
互联网上充满了对锦标赛的预测，给你一个队击败另一个队的预期概率。他们会告诉你他们运行的模拟，为模型提供的巨大数据集，以及他们模型的复杂性。但是每场比赛他们只给你一个概率。这种简单性很好，但会产生误导。这也是许多使用这些概率来选择赢家的括号的垮台。
从模型中得到的概率是单点估计。它本身并没有给出任何关于模型对预测的置信度的信息。如果不了解我们对估计有多大的信心，我们就无法知道我们对模型很好地模拟了不确定性有多大的把握。
在统计学中，点估计是可怕的东西，没有紧密的置信区间。
我认为解决的办法是在这些模型中寻找不确定性，并找到一种可视化的方法。最先进的模型可能包含深度学习算法或贝叶斯方法，但在它们的幻想罩下，它们都倾向于依赖相同的基本输入:对一支球队的进攻效率、防守效率和整体实力的估计。
模型使用不同的算法(数学)将这些参数与结果(即获胜)相匹配，但最终，他们试图做的是估计每个团队的真实实力之间的差异。我相信我已经想到了一个简单的方法来可视化这种差异，这也给了我们一个关于我们经常遇到的点估计的确定性的估计。所有这些都是利用频率统计进行简单的数学运算。
一种新模式——专注于可视化差异
为了直观地评估一个团队的真实实力，我收集了七个变量，用来评估代表一个团队真实能力的不同参数。其中四个，两个用于进攻，两个用于防守，评估了一支球队在两端的效率——肯·波默罗伊的调整后的进攻/防守和梅西的进攻/防守评分。其他三个对团队采取更全面的观点，给出整体实力或权力的估计——五三十八的 ELO ，梅西的权力，以及梅西的评级。
这些变量中的每一个都是评级，而不是排名，因此它们反映了团队之间在每个度量上的真实距离(顺序度量，就像排名是团队能力的混乱估计)。通过标准化每个度量，我们得到每个团队在每个度量上的 z 分数和，然后可以直接比较。换句话说，我们对一个团队的实力有不同的估计，现在可以在一个统一的尺度上对一个团队的实力进行平均。因为这些度量可以直接比较，所以我们还可以计算每个团队综合得分的置信区间，这给了我们圣杯——对每个团队实力的单一估计，以及我们对该估计的确定性的想法。瞧。现在，我们对每个团队的实力有了一个概念，其中还包括一系列可能的值，这些值表明我们有多大的信心，我们已经抓住了团队的真正能力。
为了完成这项任务，我的模型只需计算这七个标准化分数的平均值，将该值绘制为整体团队能力的点估计值，并使用每个团队数据的可变性在该估计值周围添加 95%的置信区间。在下图中，概述了该模型对 2021 年 NCAA 锦标赛数据的有效性，零表示平均水平的球队(在所有 350+I 级球队中)，正值/负值表示高于/低于平均水平。x 轴上的值[-3，3]表示高于/低于平均值的标准偏差。创建分析和绘图的数据和代码可在我的 GitHub 上获得。但是现在，让我们看看思考不确定性是否有助于我们通过回顾(最近的)过去来发现未来的烦恼。
可视化预测的不确定性:两个种子对十五个种子——第一轮
想想在 2021 年男子 NCAA 锦标赛中被评为 2 号种子的四支球队。诸如 FiveThirtyEight 的预测模型(T1)给出了两个排名第二的种子队相似的获胜概率:阿拉巴马州(95.19%)、休斯顿(96.40%)、爱荷华州(94.39%)和俄亥俄州(94.38%)。这些大致对应于两个种子获胜的历史平均水平(他们赢得 94.28%的时间)。它们也与选择俄亥俄州获胜的人数非常接近(ESPN.com 上近 1500 万个括号中的 95.2% )。然而，奥拉·罗伯茨在加时赛中上演了戏剧性的逆转。我不认为这些模型是“错误的”，但也许它们过于简单的输出隐藏了相关的不确定性，这是我们在做出选择时应该考虑的。
虽然每一个复杂的模型对每两个获胜的种子给出了相似的估计，但我的估计，带着一种不确定感，揭示了一个不同的画面。每支球队之间没有明显的差异，只有两场比赛看起来像是大获全胜(无论是置信区间还是评分都没有重叠)。然而，爱荷华州似乎有一个低于平均水平的防守(0 是平均防守)，这在下一轮困扰着他们，俄亥俄州的比赛看起来很有趣。在俄亥俄州立大学的比赛中，看起来俄亥俄州立大学的防守低于平均水平，他们的对手是奥罗尔·罗伯茨，他的进攻高于平均水平。还要注意的是，Oral Roberts 置信区间的上限非常接近俄亥俄州置信区间的下限。这表明有可能这两个队在现实中的能力非常相似。从前景来看，阿拉巴马州估计比爱奥那岛好近两个标准差，这表明他们获胜的概率应该比俄亥俄州高得多。用置信区间对实力进行点估计，可以发现，虽然我们不能确定罗尔·罗伯茨会获胜，但俄亥俄州接近 100%的估计显然太高了。如果说这一批人中有谁看起来是时候翻盘了，那就是俄亥俄州。
但也许这只是一个巧合。这种团队力量及其不确定性的模型在其他游戏中也成立吗？让我们对照另外两块选秀权(3 号和 4 号种子)和第二轮比赛来检查一下。
可视化预测的不确定性:三粒种子对十四粒种子——第一轮
今年，这些比赛中令人惊讶的是德克萨斯州输给了阿比林·克里斯蒂安。团队实力指标对德州的得分估计很有信心(所有指标都位于略高于每个类别平均水平的狭窄范围内)。虽然阿比林·克里斯蒂安可能是一支低于平均水平的球队(完全置信区间低于零)，但他们似乎有高质量的防守，这一点德克萨斯州现在可以证明，在对阵野猫的比赛中出现了 23 次失误。同样，这种形式的可视化/建模团队不会预测阿比林·克里斯蒂安会成为这场比赛的赢家，但它似乎表明 84.59% 的德克萨斯获胜概率对于这场比赛来说太高了。堪萨斯和阿肯色都面对一支进攻强大的球队，但是在这个画面中，很容易看到双方都有很强的防守来反击这些进攻。
可视化预测的不确定性:四粒种子对十三粒种子——第一轮
今年的 4 粒种子产生了两个冷门。让我们看看是否有迹象表明我们已经意识到了这个漏洞。在(4)弗吉尼亚和(13)俄亥俄州的情况下，有一个明确的迹象表明弗吉尼亚不太可能在这场比赛中获胜，因为置信区间之间有重叠(表明两个队可能是相等的)。此外，弗吉尼亚的进攻的一个衡量标准是低于平均水平的完全标准差。这里的不安看起来很合理。此外，(4)普渡大学和(13)北得克萨斯州看起来很像(3)得克萨斯州和(14)阿比林基督教。对普渡真实能力的估计紧紧排列在略高于平均水平，而北德克萨斯是平均水平或低于平均水平，但北德克萨斯的防守几乎是平均水平之上的标准差。其他比赛都没有很强的重叠或突出的进攻或防守能力，这可能对特定的对手造成威胁。如果你要在这里挑选冷门的话，那就是那两场比赛，这也表明了这种比较球队的方法是有价值的。
可视化预测的不确定性:第二轮
根据这个模型，在第二轮中，南加州大学对堪萨斯州的大胜并不意外。其他一些冷门，如(8)洛约拉-芝加哥对(1)伊利诺伊，(11)锡拉丘兹对(3)西弗吉尼亚，或(7)俄勒冈对(2)爱荷华，看起来也不那么令人惊讶，因为当考虑他们估计实力的置信区间时，这些球队似乎非常势均力敌。有些不被看好的对手甚至有明显的实力优于被看好的对手(罗耀拉-芝加哥的防守，罗尔-罗伯茨的进攻)或者被看好的有明显的弱点(爱荷华的防守)。再一次，这种可视化/建模数据的形式提供了额外的洞察力来预测团队超越今天的标准模型的获胜机会。
总结想法
理解预测的确定性或不确定性是很重要的。如果不知道你对预测有多有信心，你可能会感到惊讶，并且不确定如何解释意外的结果(比如你的括号坏了)。对于 NCAA 锦标赛，使用 95%置信区间的标准化聚合点估计可视化团队差异提供了关于团队比赛的重要附加知识，可用于识别可能比最先进的模型指示更易受攻击的热门球队。
我们能用卫星研究积雪吗？
变更数据
测量积雪很困难，而且空间有限。有没有更好的办法？
积雪度量对于理解我们的气候和规划饮用水供应非常重要。根据美国地质调查局的数据，在美国西部，大约 75%的饮用水来自每年的冰雪融化。虽然积雪对世界许多地方都极其重要，但测量积雪却是一项艰巨的任务。尤其是在理解北极大片土地上的雪是如何变化的时候。
雪的空间变化很大，它的结构受许多因素的影响，这意味着我们不能只测量一个点，并假设周围地区是相似的。这听起来像是卫星的一项伟大任务，对吗？我们想研究一些从太空看得见的东西，这些东西我们在地面上很难测量；问题是为了测量雪中储存了多少水，我们需要知道深度和密度。知道一个地区何时被覆盖或未被覆盖是有用的，但是如果不了解不同地区积雪的深度和密度，我们就无法确定给定地区的积雪量。幸运的是，有一些有趣的方法可以利用被动微波成像来获得雪水当量或 SWE 的替代变量。在本帖中，我们将介绍 SWE 的传统测量方法，以及我们如何使用卫星来测量大面积的 SWE，否则是不可能测量的。
本文旨在向任何对数据科学和 python 感兴趣的人介绍一个有趣的遥感主题和一个具有挑战性的数据集。在我深入 Python 之前，已经有了相当多的背景信息，所以放松一下，泡一杯咖啡/茶，让我们了解一下如何用卫星数据测量积雪。
淡水是有限的
许多人没有意识到地球上的淡水是多么有限，我们的许多淡水储备都储存在冰雪中。事实上，地球上只有 2.5%的水是淡水。在这 2.5%中，只有 1%在地球表面！更进一步，在地表的 1%中，69%是冻土。这里的要点是，我们可用的淡水中有很大一部分以冷冻状态存在，不能立即供人类饮用。同样值得注意的是，占地球淡水储量很大一部分的冰川正在迅速融化。
来源于美国地质调查局(原始图片来源)
我们如何研究积雪
大多数气象站位于城市和机场。当大量的雪倾向于落在偏远和高海拔的高山环境中时，获得积雪的精确测量是相当困难的。已经开发了几种测量积雪深度的方法，但我们的选择仍然相对较少。
斯诺特尔网站
在人们高度感兴趣并且步行可以到达的地区，我们用一种叫做斯诺特尔的东西来测量积雪。SNOTEL 是 SNOpack TELemetry 的缩写，本质上只是一个无线传输数据的远程气象站。在美国大约有 700 个 SNOTEL 站点。下面是科罗拉多州斯诺特尔遗址的地图，使用的是 Mapbox，这样您就可以看到斯诺特尔遗址是如何位于流域内和流域周围的。
科罗拉多州的斯诺特尔网站(作者使用 NRCS 数据创建)
SNOTEL 站点的主要目的是测量雪的深度，并估计雪体内储存的水量，这被称为雪水当量(SWE)。在 SNOTEL 站点可以找到多种传感器。所有站点都使用雪枕来测量 SWE 雪枕由一个装满水和防冻剂的气囊组成，可以测量上面的雪施加的压力。许多网站也有一个积雪深度传感器，向雪地发射光束，并测量光线反射回来所需的时间。深度传感器可能有点不稳定，因为雪在结构上非常不稳定；变化的结构导致光反射的不可预测的行为，我们将在用卫星测量 SWE 时更多地讨论这一点。
总的来说，SNOTEL 网站在为我们估算积雪方面做得很好。它们很小，这意味着它们可以安装在偏远地区，并且在冬季可能无法进入时需要最少的维护。然而，无限期地运行和维护它们是昂贵的，并且它们必须处于某种紧密的网络中，以便在一定的空间范围内很好地理解积雪。雪在空间上的变化令人难以置信，这意味着在 SNOTEL 站点可能会有很多雪，但仅仅几百米远的地方可能会有很大的不同。
利用卫星
我大学期间的第一份实习是作为地理空间统计学教授的研究助理。在我们的第一次会面中，他坐下来说，他有一个想法，使用一个新的重新采样的被动微波数据集，他认为我们可以利用这个数据集在比 Snotel 网站更大的空间范围内分析积雪。过去的研究显示了使用被动微波数据来创建积雪深度的代理变量的有效性，我将在下面解释，但没有任何新的重采样数据的主要用途，这些数据将每个像素的长度从 25 公里减少到 6.25 公里
测量数据
MEaSUREs 是美国宇航局为研究环境项目制作地球系统数据记录。国家冰雪数据中心(NSIDC)存档并分发了大量与冰冻圈相关的测量项目数据，冰冻圈是地球表面水冻结成固体的部分。我们感兴趣的特定数据集是测量校准的增强分辨率被动微波每日 EASE-Grid 2.0 亮度温度地球系统数据记录。这个数据集的缩写是 MEaSUREs CEBT，好得多。
亮温是对地球发出的微波辐射亮度的度量。亮温是用无源微波传感器测量的，用于获得不同频率的风、蒸汽、雨、雪和云的产品。使用被动微波辐射测量有很大的优势，比如可以在白天或晚上看穿云层。测量被动微波辐射的主要缺点是能量水平低；低能量的后果是我们必须测量相对大的区域以获得足够的信息，这降低了分辨率。尽管有分辨率的挑战，被动微波观测提供了最完整的积雪和海冰记录，可追溯到 20 世纪 80 年代。
我们之所以关注这个数据集，是因为使用无源微波传感器测量 19Ghz 和 37Ghz 亮度温度波段是唯一已知的遥感雪量的方法之一。当我们检查一堆雪时，发出的大部分辐射来自下面的地面。观察到的任何散射主要是由地表积雪造成的。我们关注 19 和 37Ghz 波长，因为发生的辐射散射与频率有关。随着雪的积累，每个波长的亮度温度都有可测量的变化；由于雪对 37Ghz 频段的散射大于 19Ghz 频段，因此这两个频段开始迅速分离。这种差异可以用来寻找 SWE 的代理变量，我们可以在下图中看到。
利用温度亮度寻找 SWE(由作者创建)
这张图描绘了阿拉斯加从一月份开始的一年中，单个像素的两种波长的亮度温度值。我们可以清楚地看到中间的夏季月份，这两个波长没有被积雪散射。然后我们可以看到这两个值是如何随着积雪的积累而开始下降和发散的。这种差异是对这个像素的积雪中储存了多少水的粗略估计。
获取我们的数据
我们在阿拉斯加的主题区域(来源:谷歌地球)
完整的 MEaSUREs CETB 数据集为 65TB！幸运的是，我们只需要全部数据的一小部分，但是下载 20 年时间序列的完整北半球图像仍然可以轻松占用 200GB 以上的空间。为了解决这个问题，我编写了一个 Python 库，它抓取图像，然后每 10GB 对图像进行地理分组。这意味着我们可以选择一个坐标包围盒，并在进行过程中丢弃所有多余的数据，这极大地减小了文件大小。使用上面显示的阿拉斯加子集，从 1993 年到 2016 年的每日时间序列大约为 500MB，这比我的 90Gb 完整北半球时间序列好得多。
下载这个数据集需要相当长的时间，所以如果你想摆弄数据，就从短得多的时间序列开始。
清理我们的数据
我之前提到过我们的数据很乱，确实如此。存在缺失值和错误峰值的问题。这是单个像素的时间序列，您可以清楚地看到 SWE 值的两个瞬间峰值，然后瞬间回落。
数据中的错误峰值(由作者创建)
这些类型的尖峰随机出现在整个数据中，必须消除。你还会注意到，数据中有很多小的方差，我们也需要消除这些方差；遥感数据往往有很多噪声，平滑是非常常见的做法。为解决这些问题，我遵循的基本清洁步骤是:
- 抛弃错误的价值观
- 向前填充所有缺少的值
- 应用 Savitzky-Golay (Sav-Gol)过滤器进行平滑
- 将数值从 3 毫米降到 0 毫米
我已经在 SWEpy 中编写了处理所有这些步骤的函数:
Sav-Gol 过滤器非常适合平滑有许多小波动的数据，如我们的 SWE 曲线。Sav-Gol 滤波器的功能类似于移动平均，只是它不是在每一步取平均值，而是用多项式拟合窗口中的点。用户只需设置窗口的宽度和要使用的多项式的阶数。
以下是我们研究区域中单个像素平滑前后的影像外观示例:
平滑前后的 SWE 值(由作者创建)
最终曲线还不错。它在保持整体形状方面做得很好，因此我们可以更容易地获得像最大 SWE、初始零 SWE 日期和总积分季节 SWE 这样的指标。我特别感兴趣的一个指标是最初的零 SWE 日期，即记录零 SWE 的第一天。了解这一点有助于确定今年雪是否比过去更早地从表面融化。
可视化阿拉斯加上空的 SWE
现在我们已经下载并处理了我们的时间序列，我们终于可以看看它了！
绘制我们的学习区域
我们在阿拉斯加的研究区域图(由作者创建)
你会注意到山脉和陆地/海洋边界的形状与上面的谷歌地球图像非常相似，这意味着我们有正确的数据。我认为有趣的是，我们可以很容易地看到海岸线，即使它可能是冻结的，因为从地面发出的辐射与从水中发出的辐射是如此不同。
季节变化
我们学习的地方冬天会积很多雪。为了直观显示这种变化，我们可以绘制每个季节研究区域的 SWE，如下所示:
由作者创建
这四张图片都有如此大的比例并不理想，但这里的变化很有趣。在夏季图像中，我们可以看到陆地的 SWE 接近于零，由于海洋的高温，SWE 值为负值。在冬天，我们可以看到大量的雪降落在陆地上，海洋的温度也可能发生显著变化。因为这张照片是 1993 年的，所以也可能有海冰。在春天，尽管大量的雪已经融化，海洋仍然很凉爽。所以在一年的时间里，我们的学习领域经历了巨大的变化！
随时间变化
拥有相对较长时间序列的数据的最大好处是能够看到随时间的变化。自然，我们想知道从 90 年代到今天，积雪是否有所改变。有很多方法来看待这个问题，在这篇文章中，我将重点关注一些基本但有参考价值的指标。
总季节性 SWE 累积
我最喜欢用 snowpack 来衡量的一个指标是那个季节的积雪量。我们可以通过对我们的曲线进行积分来发现这一点，因为曲线下的面积等于总的季节性 SWE 累积。我们已经应用了 Sav-Gol 过滤器来平滑曲线，所以我们可以使用 Numpy 或 Scipy 来查找曲线下的区域。
在我们找到区域之前，我们必须首先确定每年的分裂时间。我们不能简单地在每年的 1 月 1 日分开，因为我们正在寻找季节性的 SWE，它在每年夏天的某个时候达到零。为了找到夏天的截止日期，我编写了一个简单的函数，它贪婪地搜索每年夏天的开始，并存储截止日期。
我肯定这不是这个问题的最佳解决方案，但是因为我们只需要将它应用于单个像素时间序列，所以我可以接受一些低效率。这就产生了每一季 SWE 的截止指数，我们可以用它来计算每一年的综合总 SWE。
plt.plot(swe[cutoff[8]:cutoff[9],25,28])
由作者创建
现在我们已经准备好了每年的临界值，我们可以找到每条曲线下的面积，看看总的 SWE 是如何随时间变化的。我编写了另一个简单的函数来处理这个问题:
由作者创建
我知道，我知道。三个嵌套的 for 循环，真的吗？我学过算法，但有时如果你循环而不是矢量化，会更容易看到地理空间数据发生了什么。通常有一种更快的方法来使用 Numpy 对类似这样的东西进行矢量化。此外，在较大的数据集上，对数据块采用多重处理可以大大减少计算时间。撇开低效率不谈，现在我们有了一个矩阵，它在 z 轴上显示了每年的综合 SWE，而不是每天的 SWE。我们可以用这个阵列来显示 SWE 在阿拉斯加的变化。
由作者创建
由作者创建
由作者创建
乍一看，这可能看起来不太糟糕。红色/橙色区域没有太大变化或者比以前有更多的雪，而绿色和蓝色区域 2008 年的雪比 1993 年少。对于北坡的这个子集，82%的像素在 2008 年的积雪量比 1993 年要少。这个特殊的差异图代表了~2，979，269 mm 的 SWE 丢失，相当大！
需要进行更详细的分析来确定随时间的真实变化，但这些初步结果符合我们可能期望看到的情况。总 SWE 变化的严重程度取决于你选择的年份组合。几乎 2005 年之后的任何一年与 2005 年之前的一年配对，都会显示该地区的降雪较少，但 2016 年是一个高 SWE 年。然而，高 SWE 年并不意味着这种情况会持续下去，变化是可以预料的。理想情况下，我们将扩展时间序列，以包括 1980 年代的数据，但是旧的数据更混乱，需要更多的工作来清理和处理。
初始零 SWE 日期
虽然总体积雪很重要，但另一个有用的衡量标准是初始零 SWE 日期。这是每年一个像素没有积雪的第一天。随着时间的推移进行跟踪可以帮助我们了解雪是否在一年中提前融化，这对市政集水规划有重大影响。一个地区每年夏天裸露的时间越长，也可能导致永久冻土退化。
幸运的是，我们已经有了大部分代码，可以从我们用来寻找夏季截止日的函数中找到初始的零瑞典日。然而，在夏季截止日，我们能够将一个像素推广到整个图像。对于初始零 SWE 日期，我们将需要单独循环每个像素的时间序列；为了加快处理速度，我使用了池多重处理，在空间上分割立方体。我选择展示一张来自俄罗斯不同研究领域的图片，因为这是一个很好的中间例子，说明了我所看到的那种变化。我选择将 1993 年与 2016 年进行比较，是因为 2016 年是继 2005 年之后下了一年多雪的一年。这是一个有趣的融化日期对比；正如你在下面看到的，尽管 2016 年的 SWE 像素水平相似，但融化的时间比 1993 年要早。
我们可以看到，最初的零 SWE 日期是随着时间而变化的。在 1993 年，像素在第 150 天左右大量融化。然而，在 2016 年，我们可以看到紫色箭头指向一大部分像素在这一年比 1993 年融化得更早。绿色区域还显示了在大约 160 天后几乎没有像素仍然没有达到零 SWE 这意味着大约 160 天后没有发生融化，这可能对径流行为产生重大影响。同样值得注意的是，与 1993 年相比，2016 年从未积累任何 SWE 的像素增加了大约 30%,这由橙色箭头表示。
包扎
这些数据有太多值得讨论的地方，这篇文章只是触及了我们可以探索的表面。希望读完这篇文章后，你对我们如何研究积雪以及我们如何利用卫星更好地研究大规模积雪有了新的理解。由于有太多的东西需要探索和讨论，我将会写几篇关于这些数据的文章。
正如我们在一些图表中看到的，s we 确实随着时间的推移而下降，这通常是我在处理这些数据时发现的结果。然而，某些地区的 SWE 在增加，如果没有更多的数据，就不可能对阿拉斯加北坡的积雪做出任何断言。像大型野火和全球天气模式变化这样的事件可能会逐年影响被动微波测量的 SWE，这意味着我们需要一种更复杂的方法来测量随时间的变化。我们将在未来的帖子中探索如何结合温度、植被指数和数字高程模型(DEM ),看看我们能否更好地了解正在发生的变化。
引文
布罗兹克，M. J .，D. G .龙，M. A .坚硬人，a .佩吉特和 r .阿姆斯特朗。2016，更新 2020。测量已校准的增强分辨率无源微波每日 EASE-Grid 2.0 亮度温度 ESDR，版本 1 。美国科罗拉多州博尔德。美国宇航局国家冰雪数据中心分布式活动档案中心。https://doi.org/10.5067/MEASURES/CRYOSPHERE/NSIDC-0630.001。[4/25/2021]
能否利用量子纠缠进行超光速通信？
对超光速通讯的探索
量子机器学习要不要入门？看看 动手量子机器学习用 Python 。
没有什么比光速更快了。我们都知道。好吧，这就是我们今天所相信的。这是一个理论——爱因斯坦的相对论。公平地说，这是一个很好的例子。
作者图片
如果一个东西的速度超过光速，我们就说它是超光速的。爱因斯坦告诉我们，如果你以光速旅行，时间就会停止。如果你的速度超过光速，时间就会倒流。
时间旅行导致矛盾。你可以回到过去，阻止一些改变历史的事件发生。而且，在数学和物理中，如果某样东西导致矛盾，我们就断定它是假的。
但是，我们的信念，甚至是最好的理论，都必须接受审查。我是说，你见过光速有多快吗？
我的日常经验表明，光根本没有那么快。当我打开电视时，我首先听到声音，然后过一会儿，我看到图像。
当我看电视时，我最终会看《星际迷航》或《星球大战》。但是，你猜怎么着，企业号有曲速引擎，千年隼号有超光速引擎。所以光速似乎不是一个大问题。
轶事和科幻小说说够了。量子纠缠呢？
纠缠描述了粒子之间极强的相关性。即使相隔很远，纠缠的粒子仍然保持完美的关联。
例如，我们有两个量子比特。我们用哈达玛门把一个放入相等的叠加态。如果我们测量它，我们会看到它要么是 0，要么是 1，各有 50%的概率。但是我们不测量它——因为测量一个量子位会瓦解它的叠加态。相反，我们用受控非门(CX)将它与另一个量子比特纠缠在一起。
无论我们多频繁地运行这个量子电路，我们总是看到两个量子位的值匹配。例如，下图描述了电路运行 10，000 次的结果。
作者图片
好吧，它们完全相关，那又怎样？
如果我们测量两个纠缠量子位中的一个，另一个会立即改变它的状态来解释我们测量的值。重点在于瞬间。
当我们说粒子的状态瞬间改变时，我们指的是瞬间。几秒钟后就不行了。不到一秒钟。但是瞬间。
状态的改变不依赖于从一个粒子发送到另一个粒子的任何信号——状态的改变是由于两个粒子共享一个状态。
因此，也许我们可以利用这一现象进行超光速通信——即比光速更快的通信。
让我们见见爱丽丝和鲍勃。他们是物理思想实验的超级明星。爱丽丝和鲍勃在宇宙的两端。然而，这两者都有一对纠缠量子位中的一个。此外，他们都知道他们的量子位是完全相关的。
所以，当爱丽丝查看她的量子位时，她得到了一个随机的结果。不是 0 就是 1。此外，鲍伯的量子位元会立即跳到一种状态，与爱丽丝看到的任何东西相对应。当他查看他的量子位时，他得到了同样的随机结果。
假设 Bob 在 Alice 之前测量了他的量子位。现在，爱丽丝的量子位改变了状态，与鲍勃的量子位相对应。但是，当爱丽丝测量她的量子位时，她现在得到了什么？同样，这是一个随机的结果。
当 Alice 和 Bob 获得相关的随机数时，没有信息从一方传输到另一方。似乎他们在回顾他们共同的过去。他们可以得出结论，各自的其他人知道同样的事情。但是分享知识不是交流。
不过，他们不会这么快放弃。他们尝试不同的东西。爱丽丝在测量量子位之前操纵它。她在其上应用另一个哈达玛门。
下面的代码创建了这样一种情况。
从爱丽丝的角度来看，结果一点也没变。
作者图片
她仍然看到一个随机的结果。
那么，让我们看看鲍勃看到了什么。
作者图片
鲍勃的结果也没有改变。
如果我们观察整个量子系统，我们只能看到发生了什么变化。当爱丽丝和鲍勃一起看结果时——这意味着他们交流了他们的结果——他们看到爱丽丝的行为改变了两个量子位之间的相互关系。
作者图片
当然，除了应用另一个哈达玛门，爱丽丝还可以用她的量子位做许多其他事情。但是无论她做什么都改变不了鲍勃的看法。只有当他们一起看他们的量子位时，他们才能看到效果。
所以，即使两个量子比特可以在很远的距离上纠缠在一起，我们也不能用它们进行即时通信！
无论爱丽丝和鲍勃用他们的量子位做什么，他们都不能互相发送信息。只有重新纠缠或解开量子位，它们才能交换信息。
例如，爱丽丝想给鲍勃发送一个 1。如果她在她的量子位上施加一个非门(X ),而他们在两个量子位上施加另一个纠缠门(CX ),那么我们可以看到鲍勃的结果发生了变化。
下图描绘了 Bob 看到的情况。
作者图片
因此，为了相互交流，我们需要纠缠量子位——或粒子。但是，纠缠行为本身就是一种交流。因此，到目前为止，爱因斯坦的相对论仍然成立。
我们不能用纠缠进行超光速通信。这是一件好事，因为我们不需要亲自旅行来改变历史的进程。如果我们能告诉我们早期的自己某些行为的结果，我敢打赌它会有戏剧性的变化。
量子机器学习要不要入门？看看 动手量子机器学习用 Python 。
在这里免费获得前三章。
我们可以在线性回归模型上使用随机梯度下降(SGD)吗？
思想和理论
了解为什么在线性回归模型上使用 SGD 进行参数学习是有效的，然而，SGD 可能是低效的，并欣赏 Adam 优化器为提高 SGD 的效率所做的工作。
图片来自 Unsplash
我们被告知使用随机梯度下降(SGD ),因为它加快了机器学习模型中损失函数的优化。但是你想过为什么在你的模型上使用随机梯度扩张是可以的吗？
本文使用一个线性回归模型来说明何时使用随机梯度下降有效。然后，它指出了为什么随机梯度下降可能是低效的，并解释了 Adam 优化器如何使随机梯度下降更加有效。
线性回归模型中的参数学习
要了解线性回归模型 *f(x)=xᵀ w，*的参数值，其中 x 是特征， w 是模型参数，定义损失函数 L(w) :
并且相对于模型参数 w 最小化该损失函数。
上式中， X 和 Y 构成训练数据集 (X，Y)
- X 是一个形状为 n×p 的矩阵，所以 n 个数据点， p 特征。
- Y 是形状为 n×1 的矩阵。**
- w 是参数的向量，形状 p×1。
由于 L(w) 是一个凸函数，最小化它的默认方式是计算它相对于 w 的导数，并将这个导数设置为零，以找到 L(w) 评估为最小值的位置。将导数设置为零会得到下面的标准方程，其左侧是导数:
线性回归模型的正规方程
法线方程是矢量形式，因为 X 和 Y 是矩阵，而 w 是矢量。求解该向量方程以获得参数值:
为了提醒自己关于正态方程的细节，文章线性回归的置信区间来自哪里是一个很好的阅读材料。
在实践中，求解正常方程可能具有挑战性，因为:
- 矩阵求逆 (XᵀX)⁻ 可能很贵。 X 是一个 n×p 矩阵， XᵀX 是一个 p×p 矩阵，其中 p 是特征的个数。矩阵求逆非常昂贵。在我的另一篇文章稀疏和变分高斯过程——当数据很大时该怎么办中，我生动地演示了矩阵求逆有多慢。因此，如果你的模型有成千上万的特征，这在今天是可能的，这种反演变得非常昂贵。
- 正规方程解 w=(XᵀX)⁻ XᵀY ，通过提及完整的训练数据集 (X，Y) ，需要将整个数据集保存在内存中。如果数据集很大，可能会耗尽内存。
为了解决问题 1，我们可以使用梯度下降来最小化 L(w)。梯度下降算法只需要计算损失函数的梯度。渐变为-2xᵀ(y-x w)；它不涉及矩阵求逆。
但是梯度下降不能解决第二个问题。为了评估梯度 -2Xᵀ(Y-X w) ，梯度下降算法仍然需要将所有训练数据集保存在存储器中。这是因为梯度 -2Xᵀ(Y-X w) 提到了完整的训练数据集 (X，Y) 。
为了解决第二个问题，我们可以使用小批量随机梯度下降(我将简称为随机梯度下降)。随机梯度下降随机抽样，替换来自 (X，Y) 的一些数据点，并使用这个样本，称为 mini-batch(我将简称为 batch)，来评估梯度。我们可以通过改变批量大小来控制内存消耗。
在线性模型上使用随机下降的有效性
随机梯度下降似乎不错，大多数人会理所当然地使用它。但是随机梯度下降有一个有效性要求:随机梯度的期望必须等于全梯度。在应用随机梯度下降来执行我们的线性回归模型的参数学习之前，我们需要证明这个有效性要求成立。
让我们首先了解有效性要求:
- 全渐变是 *-2Xᵀ(Y-X w)的渐变。*因为提到了全训练数据 (X，Y) ，所以称为全梯度。
- 随机梯度是从训练数据中采样的一批数据点计算的梯度，比如说 (Xₘ，Yₘ) ，其中*(xₘ，Yₘ)* 是 (X，Y) 的随机子集。
- 随机梯度的期望:由于一批 (Xₘ，Yₘ) 是来自全部训练数据的随机样本，该批中的数据点具有随机性——特定的一批可能包括一些数据点而不包括其他数据点。由于随机梯度是提及这些随机采样数据点的表达式，因此它也变得随机。所以我们可以讨论那些随机梯度的期望。
- 只有当线性回归模型的随机梯度的期望等于全梯度时，随机梯度下降才是模型参数学习的有效方法。
现在我们来证明有效性要求。为了使证明更具体，让我们证明这样的情况，我们有三个数据点，我们的 w 的维数为 2:
下面我们来介绍一下矢量 U :
其中 U₁、U₂、U₃ 根据他们对uᵢ=yᵢ-xᵢwu 是 w 的函数，因为它提到了 w 。
有效性证明
为了证明随机梯度的期望等于全梯度，我们首先写下全梯度，然后是随机梯度的期望，最后证明它们是相等的。
更准确地说:
- 在每个优化步骤中，随机梯度算法对单个批次进行采样，并使用该批次计算损失函数的随机梯度。
- 我们希望表明，在这一步，如果我们要抽取许多批次，并计算这些批次中每个批次的随机梯度，则这些随机梯度的期望值(或平均值)等于在这一步使用完整训练数据计算的完整梯度。
对于任何优化步骤，我们都需要证明上述内容。因为每一步的证明都是相同的，所以我们只需要处理一个单独的、任意的步骤。以下证明适用于任何步骤。
全渐变
如果上面的步骤对你来说不简单，尤其是第(2)步，请看这里的附录。
让我们使第(5)行更明确，以帮助理解整个梯度:
所以完整的梯度是一个长度为 2 的向量，每个参数一个， w₁ 和 w₂ 向量中的每一行都是单个参数的偏导数。该行汇总了 X — 中的一列，即 X 中的第 1 列为 w₁ ，第 2 列为 w₂ 。
例如，第一行是相对于第一参数 w₁.的梯度这个梯度对所有 3 个数据点 i=1，2，3 的 Xᵢ,₁ Uᵢ 求和。它可以写成:
我引入名称 G_first 来表示完整渐变的第一行，以备后用。
Xᵢ,₁ 中的逗号是为了明确区分字母和数字，即 i 引用 X 矩阵的行维度， 1 引用列维度。如果两个维度的索引都是数字，我就写 X₁₂ ，不带逗号。
随机梯度
随机梯度也是一个二维向量，与全梯度相同，不同之处在于随机梯度的每一行都是数据点子集的总和，即一批数据点。
让我们定义一个批次 m 作为该批次中训练数据点索引的集合。例如，如果在批次 m 中，有两个数据点(X ₁，Y₁) 和 (X₃，y₃)，那么 *m={1，3}，*为第一个数据点的索引，3 为第三个数据点的索引。
使用该批次计算的损失函数，由 Lₘ(w) 表示，为:
按照与计算全梯度相同的步骤，该批次的随机梯度为:
如果我们更明确地写下最后一行:
现在我们可以清楚地看到，随机梯度和全梯度的形状是一样的，随机梯度的每一行只是把批中的数据点相加，而不是像在全梯度中一样，把所有的数据点相加。
证明义务
我们需要证明随机梯度的期望等于全梯度。由于在随机梯度和全梯度中有两行，证明义务是证明每行相等。事实上，每一行的证明都是一样的，所以我们只证明第一行的相等。
如前所述，我们可以将一批 m 表示为{ j₁，j₂，…，jₘ }。每个指标，比如 j₁ ，都是来自均匀分布均匀 (1，n) 的随机变量，因为一个批次中的每个元素都可以等概率引用任意训练数据点。
随机梯度的第一行，即相对于第一个参数 w₁ 、*、*的偏导数为:
上面的表达式提到了 j ，一批 m 的指数。由于每个指标 j 都是随机变量，所以整个随机梯度也是随机变量。这个梯度提到了 m 随机变量: j₁，j₂，…，jₘ.
我知道上面公式中的下标很吓人，让我提供一些解释。在…里
“ j，1 ”下标:
- “j”部分是指训练数据 X 中的第j行。请记住 j 是一个整数，它引用的是被抽样成一批的训练数据集中的单个数据点。
- “ 1 部分是指 x 的第一列。这是因为我们在讨论损失函数相对于第一个参数 w₁.的导数
例如，由于我们的 X 是:
当 j=3 时，
而在
下标的 j₁ 部分引用了批次 m={j₁、j₂、…、jₘ} 中的一个指标。
与 Uⱼ 中的下标含义相同。
随机梯度的期望
现在让我们算出参数 w₁ 的上述随机梯度的期望值。期望值是相对于随机变量 j₁，j₂，…，jₘ :
线(1)表示参数 w₁.的随机梯度的期望值符号显示期望是关于随机变量 *j₁，j₂，…，jₘ.*在计算期望值(本质上是平均值)时，知道你对哪些随机变量求平均值是至关重要的。
第(2)行插入了随机梯度的公式。
第(3)行使用期望的线性属性将单个大期望重写为 m 个小期望。
第(4)行删除了那些小期望中不必要的随机变量，因为每个小期望只提到一个随机变量——第一个小期望提到随机变量 j₁ ，第二个小期望提到 j₂ ，以此类推。
线(5)是键。注意，所有这些 m 小期望都有相同的结构，唯一的区别是它提到的随机变量。还要注意，所有这些随机变量 j₁，j₂，…，jₘ 都来自同一个均匀分布 Uniform(1， n )。所以所有这些小期望的值一定是一样的。我们可以用第一个小期望值的值来表示这个相同的值。有 m 个小期望值，所以整个公式简化为 m 乘以第一个小期望值的值。这种简化给了我们一个带有单个随机变量 j₁.的公式
线(6) j₁ 是非均匀分布均匀(1， n )的随机变量。表达式相对于 j₁ 的期望值是该表达式的平均值，是对 j₁.所有可能值的平均j₁的所有可能值只是 1，2，3，…，n ，概率相等。
第(7)行通过插入名称 G_first 简化了第(6)行的公式，我们引入该名称来表示整个梯度。
证明失败了吗？
现在我们已经证明了参数w₁t16】的随机梯度第一行的期望不等于全梯度 G_first 的第一行。
但是我们可以将这个随机梯度乘以 n/m 来创建一个随机梯度，其期望值等于 G_first 。
因此，我们已经证明随机梯度适用于我们的参数学习模型——我们只需将原始随机梯度缩放 n/m 即可将随机梯度转换为全梯度的无偏估计*。*直观地说，这意味着我们需要放大(因此随机梯度变得更大)原始随机梯度，以应对该随机梯度是从所有训练数据点的子集计算的事实。
以上证明是关于第一个参数 w₁.的梯度其他参数的证明都是一样的。
其他模型如神经网络也有同样的证明
虽然上述证明是在线性回归模型上完成的，但是你可以认识到许多神经网络模型的损失函数的结构与线性回归模型相同。这意味着上述证明也适用于那些神经网络模型，这就是为什么随机梯度下降或其变体(如 Adam)可以是神经网络的优化器的原因。
上面的证明是一个你会在机器学习证明中看到的模式。在我的另一篇文章稀疏和变分高斯过程(SVGP)——当数据很大时做什么中，在附录中，我给出了几乎相同的证明，表明随机下降适用于高斯过程模型。
你可能会问，有没有随机梯度下降不是有效参数学习算法的模型？是的。比如高斯过程回归模型和变分高斯过程模型。两个模型都需要完整的训练数据 (X，Y) 作为它们的目标函数，以找到最佳的模型参数值。只有在稀疏和变分高斯过程模型中，目标函数才变成接受一批数据的形式。
随机梯度下降可能是低效的
现在我们知道，我们的基于批处理的随机梯度下降是一个有效的算法来执行我们的最小二乘线性回归模型的参数学习。但是这个版本的随机梯度下降是一个有效的算法吗，也就是说，它能足够快地找到合适的参数值吗？要回答这个问题，我们需要对随机梯度的方差进行推理。
随机导数是随机变量，随机梯度是随机变量的不同样本。我们不仅可以推理出它的均值(我们刚刚在上面的证明中做了)，而且可以推理出它的方差。
让我们用下面的例子来说明这一点:左边显示了完整渐变的方向；右手边是随机梯度。两者都是从外圈开始，走向内圈。外圈代表高损失函数值，内圈代表低损失函数值。梯度下降和随机梯度下降都从外到内移动，这意味着它们都最小化损失函数。
梯度下降(左)和随机梯度下降(右)之间的梯度方向比较
我们可以看到:
- 平均而言，随机梯度与全梯度指向相同的方向。
- 然而，任何具体的随机梯度偏离全梯度，形成之字形轨迹。
这些曲折的梯度方向，或者随机梯度的方差，使得随机梯度下降需要更多的优化步骤来找到最佳参数值，就像梯度下降一样。所以随机梯度下降有一个效率问题。
人们已经设计了随机梯度下降的变体来解决这个问题。Adam 优化器是一种广泛使用的优化器。
Adam —平滑随机梯度
Adam 改进了随机梯度下降算法的两个方面:
- 它平滑随机梯度。
- 它对每个参数使用不同的学习率。
如果我们将之字形随机梯度的序列视为一个时间序列(时间维度是优化步骤，每次计算随机梯度)，这是一种减少之字形以平滑该时间序列的简单方法。指数衰减是一种流行的平滑器。
指数平滑法
给定一个原始值序列， r₁，r₂，r₃ ，…，指数平滑序列 s₁，s₂，s₃ ，…，由下式给出:
在上面的定义中， β 被称为平滑因子。下图以黑色显示了指数平滑对原始数据的影响。红色曲线是用系数 *β=0.5 平滑的。*蓝色曲线为 β=0.9。
我们可以看到平滑因子越大，得到的曲线越平滑。这是因为较大的平滑因子意味着更多的权重分配给平滑序列的前一个值，而较少的权重分配给原始序列的新数据点。
请注意，以下曲线与参数学习无关，它们只是向您展示指数平滑的样子。
不同平滑因子对指数平滑的影响
亚当优化器
Adam 优化器使用指数平滑来减少随机梯度序列的曲折。
为了更好地说明这一点，让我们从正常随机梯度下降算法的参数更新规则开始。
随机梯度下降中的参数更新规则
假设我们有 p 参数， w₁到 w ₚ，在时间 t (即第t优化步骤)，第I参数 wᵢ 的更新规则为:
其中:
- wᵢ,ₜ 是时间 t. 时第个参数 wᵢ 的更新参数值
- wᵢ,ₜ ₋ ₁ 是上一次 t-1 相同参数 wᵢ 的值。
- g ᵢ,ₜ 是 wᵢ 在 t 时刻的斜率。
- α 是学习率。
我们已经说过随机梯度下降的问题是梯度 g ᵢ,ₜ 是曲折的，这意味着它有一个大的方差*。*
Adam 算法中的参数更新规则
在 Adam 算法中，第个参数 wᵢ 的更新规则为:
线(1)使用指数平滑因子 β₁ 平滑随机梯度 g ᵢ,ₜ ，通常设置为 *0.9。这产生了一系列平滑的随机梯度 mᵢ,₁，mᵢ,₂ ，等等。*初始值 mᵢ,₀ 设置为 0。
线(2)是使用平滑梯度 mᵢ,ₜ.的实际参数更新
请注意，指数平滑不会改变数据点的数量。也就是说，平滑后的序列具有与原始序列相同数量的数据点。在 Adam 中使用平滑随机梯度的要点是:
- 我们知道，遵循真正的梯度曲线可以用最少的步骤达到最优。
- 平滑后的随机梯度曲线更接近真实梯度曲线。
- 因此，通过遵循平滑的随机梯度曲线，我们更有可能以更少的个优化步骤达到最优。
- 由于每个优化步骤都需要时间，因此步骤越少意味着优化越快。
自适应调整 Adam 中每个参数的学习速率
除了平滑随机梯度，Adam 还包括另一个改进，它解决了为每个参数调整学习速率的问题。
上述参数更新规则对所有参数 w₁、w₂ 等等*使用相同的学习率 α 。*学习率控制每次参数更新时参数值改变的步长。
不同的参数可能有不同的范围，一个参数的范围从 1 到 100，另一个从-1000 到 2000。单一的学习率不可能为不同尺度的所有参数提供合适的步长。
请注意，虽然从(随机)梯度下降的角度来看，每个参数都有全实数作为其理论范围，但在现实生活中，不同的参数确实倾向于具有不同的实际范围。
与范围相关的另一个问题是，根据损失函数和数据，在优化过程中，一些参数可能会缓慢变化(意味着参数值在每个优化步骤中仅发生少量变化)，而一些参数可能会快速变化。为了加快优化速度，如果我们看到一些参数变化缓慢，我们应该扩大它的步长。如果我们看到一些参数变化很快，我们应该减少其步长，以避免超调。
因此，我们希望有一种机制来自适应地决定步长或每个参数的学习速率，同时考虑范围差异和变化速度差异。Adam 通过引入第二个指数平滑来实现这一点，这一次，对随机梯度的平方序列进行平滑。
下面的公式显示了具有第一次和第二次平滑的完整 Adam 参数更新规则。
和以前一样，这三个公式仅适用于第 i 个参数 wᵢ 。
线(1)是如前所述的使用平滑因子 β₁ 的随机梯度的平滑。
第(2)行是新的，它使用平滑因子 β₂ 平滑随机梯度的平方，通常设置为 0.999。这个平滑的序列代表随机梯度的方差。初始值 vᵢ,₀ 被设置为 0。
第(3)行被改变，单个学习率 α 现在被方差的平方根(这是标准偏差)反向缩放。 ε 是一个小正数，以避免在标准差为 0 时被零除。 ε 通常设置为 10⁻⁸.
从上面的公式我们可以看出，如果一个参数的值变化很大，那么它的方差很大，那么适应的学习速率就会降低，反之亦然。每个参数的学习速率的这种自适应调整导致不同参数的不同学习速率。
注意，实际的 Adam 算法对平滑的随机梯度和随机梯度的平滑平方有偏差校正。我决定不谈论偏差校正，因为这篇文章的目的是说明 Adam 解决随机梯度下降算法问题背后的直觉。如果你对亚当的完整版感兴趣，有很多很好的参考，比如这里的这里的和这里的。
结论
本文展示了我们如何证明随机梯度下降是否适用于我们的机器学习模型。在我们有了证明之后，我们知道使用随机梯度下降是正确的。但不一定是有效率的事情。然后，本文简要介绍了 Adam 优化器，并解释了它如何使随机梯度下降更有效。
支持我
如果你喜欢我的故事，如果你考虑支持我，通过这个链接成为灵媒会员，我将不胜感激:https://jasonweiyi.medium.com/membership。
我会继续写这些故事。
你能建立一个机器学习模型来监控另一个模型吗？
图片作者。
你能训练一个机器学习模型来预测你的模型的错误吗？
没有什么能阻止你去尝试。但很有可能，没有它你会过得更好。
我们不止一次看到有人提出这个想法。
表面上听起来很合理。机器学习模型会出错。让我们利用这些错误训练另一个模型来预测第一个模型的失误！一种“信任检测器”，基于我们的模型在过去的表现。
图片作者。
从错误中学习本身就很有意义。
这种精确的方法是机器学习中 boosting 技术的基础。它在很多集成算法中实现，比如决策树上的梯度提升。每一个下一个模型都被训练来纠正前一个模型的错误。模型合成比一个执行得更好。
图片作者。
但是它能帮助我们训练一个独立的第二个模型来预测第一个模型是否正确吗？
答案可能会令人失望。
让我们通过例子来思考。
训练看门狗
**比方说，你有一个需求预测模型。**你想在它不对的时候抓住它。
你决定在第一个模型错误的基础上训练一个新模型。这到底意味着什么？
这是一个回归任务，我们预测一个连续变量。一旦我们知道了实际的销售量，我们就可以计算模型误差。我们可以选择像 MAPE 或 RMSE 这样的城市。然后，我们将使用该指标的值作为目标来训练模型。
图片作者。
**或者我们来举个分类的例子:**信用贷款违约的概率。
我们的贷款预测模型可能是一个概率分类。每个客户都会得到一个从 0 到 100 的分数，来衡量他们违约的可能性。在某个临界值，我们拒绝贷款。
总有一天，我们会知道真相。我们的一些预测可能是假阴性:我们给了那些仍然违约的人贷款。
但是，如果我们对所有的预测不加审查就采取行动，我们永远也不会了解假阳性。如果我们错误地拒绝了贷款，这个反馈会留给客户。
我们仍然可以利用我们得到的部分知识。或许，采用违约客户的预测概率，然后训练一个新的模型来预测类似的错误？
图片作者。
这能行吗？
是，也不是。
技术上是可行的。也就是说，你可以训练一个模型来预测一些事情。
但是如果是这样，这意味着你应该重新训练初始模型！
让我们解释一下。
**为什么机器学习模型会出错？**撇开数据质量不谈，通常是以下两种情况之一:
- **模型训练的数据中没有足够的信号。**还是数据不够。总体而言，或针对失败的特定部分。该模型没有学到任何有用的东西，现在返回一个奇怪的响应。
- 我们的模型不够好。从数据中正确捕捉信号太简单了。它不知道它可以潜在地学习的东西。
在第一种情况下，模型误差没有模式。因此，任何训练“看门狗”模型的尝试都会失败。没有什么新东西要学。
在第二种情况下，你也许能训练出一个更好的模型！一个更复杂的模型，更适合数据来捕捉所有的模式。
但如果可以这样做，为什么还要训练“看门狗”呢？为什么不更新第一个模型呢？它可以从我们第一次应用它时得到的真实世界的反馈中学习。
图片作者。
一个模型来统治他们
**很有可能，我们最初的模型并不“糟糕”**这些可能是发生变化的客户，或者是带来新模式的一些现实情况。认为疫情影响了销售和信用行为。我们已经讨论过的相同的旧的数据和概念漂移。
我们可以获取关于销售和贷款违约的新数据，并将其添加到旧的训练集中。
我们不会预测“错误”我们将教会我们的模型预测完全相同的事情。一个人拖欠贷款的可能性有多大？销售量会是多少？但这将是一个新的、更新的模式，从自己的错误中吸取教训。
就是这样！
旁边的“看门狗”型号不会增值。
它根本没有其他数据可以借鉴。这两种型号使用相同的功能集，并且可以访问相同的信号。
如果新模型出错，“看门狗”模型也会错过它。
我们在相同特征集上训练的第二个模型将信任第一个模型。(图片由作者提供)。
**一个例外是，我们无法访问原始模型，也无法直接对其进行重新培训。**例如，它属于第三方或因法规而固定。
如果我们从现实生活的应用环境和实际标签中获得新数据，我们确实可以构建第二个模型。然而，这是一种人为的限制。如果我们自己在维护原来的模型，这样做是没有意义的。
我们能做些什么呢？
“看门狗”模式的想法行不通。我们还能做什么？
先说为什么。
**我们的主要目标是构建在生产中表现良好的值得信赖的模型。**我们希望尽量减少错误的预测。其中一些对我们来说可能很昂贵。
假设我们在建模方面尽了最大努力，我们可以使用其他方法来确保我们的模型可靠地运行。
首先，建立常规监控流程。
是的，这种方法不能直接解决模型产生的每个错误。但它建立了一种保持和改善模型性能的方法，从而最大限度地减少规模误差。
这包括通过监控输入分布和预测的变化来检测数据和概念漂移的早期迹象。
使用 的数据漂移监控示例显然是 需求预测 教程中的 。(图片由作者提供。)
第二，考虑用好的旧规则耦合机器学习。
如果我们更详细地分析我们的模型行为，我们可以识别出它表现不好的地方。然后，我们可以将模型应用限制在那些我们知道模型有更多机会成功的情况下。
在详细的教程中，我们探索了如何在员工流失预测任务中应用这个想法。我们还考虑为概率分类添加一个自定义阈值，以平衡假阳性和假阴性错误。
图片作者。
第三，我们可以在模型输入上添加统计检查。
在“看门狗”模型中，想法是判断我们是否可以信任模型输出。相反，我们可以检测输入数据中的异常值。目标是验证它与模型所训练的内容有多大的不同。例如，如果一个特定的输入与模型之前看到的“太不一样”,我们可以发送它进行人工检查。
旁注。感谢我们的一位读者引发了这场对话！
在回归问题中，有时候可以建立一个“看门狗”模型。考虑到预测误差的符号，当您的原始模型优化预测误差时，就会出现这种情况。如果第二个“看门狗”模型预测的是绝对错误，它可能会从数据集中获得更多信息。
但这里有一件事:如果它有效，这并不意味着这个模型是“错误的”或者如何纠正它。相反，它是评估数据输入不确定性的一种间接方法。(这里有一篇整篇论文详细探讨了这一点)。
实际上，这又让我们回到了同一个备选方案。让我们检查输入数据是否属于相同的分布，而不是训练第二个模型！
总结
我们都希望我们的机器学习模型表现良好，并知道我们可以信任模型输出。
虽然用另一个受监督的“看门狗”模型来监控你的机器学习模型的乐观想法成功的机会很低，但这种意图本身有其优点。还有其他方法可以保证你的模型的生产质量。
这些包括建立一个全面的监控过程，设计定制的模型应用场景，检测异常值，等等。
在下面的文章中，我们将更详细地探讨它们。
最初发表于【https://evidentlyai.com】并与 伊莲娜 合著。
在 appeally AI，我们创建了开源工具来分析和监控机器学习模型。在 GitHub 上查看我们的 项目，如果喜欢就给它一颗星吧！
想留在圈子里吗？
分割乳房 x 光片中的异常(第 1 部分，共 3 部分)
点击导航:第 1 部分-> 第 2 部分 - > 第 3 部分
在 TensorFlow 2 中对乳房 x 光片实施深度学习语义分割管道的分步指南
图片作者。从 CBIS-DDSM 取回的乳房 x 光片和口罩。
如果你正在阅读这篇文章，很可能我们有着相似的兴趣，从事着相似的行业。所以让我们 通过 LinkedIn 连接起来，在这里我分享我关于 AI 和 ML 的想法和资源的花絮！
文章结构
本文是一个 3 部分系列的第 1 部分，介绍了我如何解决一个深度学习项目使用图像分割模型 识别乳房 x 光扫描中的肿块异常。 作为对项目进行详细分解的结果，这是对计算机视觉中的核心问题之一——语义分割的全面概述，也是对在 TensorFlow 2 中执行这个项目的技术细节的深入探究。
第一部分:
- 问题陈述。
- 什么是语义切分。
- 数据集下载指南。
- 你会在数据集中找到什么。
- 解开数据集的嵌套文件夹结构。
- 数据探索。
第二部分:
- 图像预处理流水线概述。
- 原始乳房 x 光片的一般问题。
- 深入研究原始乳房 x 光片的预处理流程。
- 深入到相应掩码的预处理管道。
第三部分:
- 介绍 VGG-16 U-Net 模型。
- 在 TensorFlow 2 中实现模型。
- 训练模型的注意事项。
- 结果和事后分析。
- 结束了。
GitHub 知识库
1.问题陈述
该项目的目标是分割扫描的乳房 x 光片图像中的肿块异常。
全乳房 x 线扫描将用作图像分割模型的 2D 输入，其各自的二元掩模作为基础事实标签。该模型将输出每个乳房 x 光片的预测掩模。
图一。模型管道、输入和输出图像以及输入标签的简要概述。从 CBIS-DDSM 取回的乳房 x 光片和口罩。作者绘制的图像。
1.1.所选数据集-CBIS-DDSM
我选择使用 CBIS-DDSM 数据集，因为它适合中等复杂程度的计算机视觉项目。它拥有 2620 张扫描的乳房 x 光照片，足以进行像样的模型训练。此外，由于 CBIS-DDSM 数据集包含真实世界的乳房 x 线照片扫描，它们足够“杂乱”,因此需要进行鲁棒的和有意的图像预处理，以便在手边的任务中获得体面的结果。图像预处理在 第二部分这里有所涉及。
最有趣的是，数据集中的每张乳房 x 线照片都带有一个二元掩模，仅指示异常的大致位置。由于这些掩模不提供精确的分割，因此需要实现用于精确特征提取和诊断的分割算法。
这些是我选择 CBIS-DDSM 数据集来处理语义分割任务的主要原因。
图二。原始乳房 x 光扫描及其各自的二元掩模的例子。每列代表一个独特的患者。覆盖图(底行)由我生成，不在数据集中提供。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
2.什么是语义切分？
简而言之，任何种类的分割(是的，存在不止一种分割，是的，除了分割还有其他方法，即定位和检测)都回答了以下问题:
“感兴趣的对象位于图像的什么位置？”
在场景理解的业务中，找到感兴趣的对象在图像中的位置是图像分类的自然步骤。图像分类告诉我们*“图像中有什么”* (即它对整个输入图像进行预测)。定位、检测和分割然后告诉我们*“[感兴趣对象]在图像中的位置”。*
图三。图像分类与分割。作者绘制的图像。
有两种主要形式的姿态信息告诉我们物体在图像中的位置——边界框和遮罩。物体定位模型和物体检测模型输出预测包围盒，而图像分割模型输出预测遮罩。图像分割可以进一步分解为语义分割模型和实例分割模型。因此，用于在图像中定位对象的四种主要类型的技术是:
- **对象定位:*包括定位一个对象类(又名标签)的一个实例，通常是通过预测一个以实例为中心的紧密裁剪的边界框。它通常带有分类，你会遇到的常见术语是‘分类+本地化’*。
- **对象检测:涉及检测图像中一个或多个对象类的多个实例。类似于对象定位，它预测每个对象类的每个检测实例周围的边界框。
- 语义分割:**为图像的每个像素预测其所属的对象类别(在两个或多个对象类别中)。模型必须知道所有的对象类。输出是预测的屏蔽。
- 实例切分:**是语义切分的一种更精细的形式。区别在于它能够区分同一对象类的两个实例。例如，它能够在人行道的图像中将一个行人与另一个行人分开。输出也是预测的屏蔽。
图 4。上述 4 种技术的输出说明。注意语义分段和实例分段的区别。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
以上是我对技术的理解。但是，请注意，这些术语在科学界的定义并不像我们所希望的那样清晰，因此您可能会遇到其中任何一个术语的略微不同的含义。你可以参考 这篇 、 这篇 和 这篇 文章，对以上四个概念有更透彻的理解。
3.下载数据
如果您遵循下面的一般步骤，下载数据是非常简单的。请注意，我在 Mac 上工作，在其他系统上工作时可能会略有不同。
步骤 1— 从 Mac App Store 安装 NBIA 数据检索器。详细说明请点击链接。
步骤 2 — 将.tcia清单文件下载到您的本地计算机。
步骤 3 — 使用 NBIA 数据检索器打开刚刚下载的.tcia清单文件。
步骤 4 — 在 NBIA 数据检索器中，单击“浏览”选择您要保存数据集的目录。
步骤 5 — 然后点击“开始”开始下载数据集。
注意，因为这个数据集大约有 160GB，下载可能需要一段时间。
4.你会在数据集中找到什么
数据集包含含有钙化、肿块异常或两者的乳房。这篇文章很好的总结了什么是肿块和钙化。
您将在下载的数据集中看到的混乱和嵌套的文件夹结构将在 第 2 部分 中解释和解决。现在，我们将重点了解数据集中的数据类型。
数据集包含两种主要类型的文件——DICOM(.dcm)文件和.csv文件。
图五。可在 CBIS-DDSM 数据集中找到的文件类型汇总。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
4.1..dcm文件
默认情况下，CBIS-DDSM 数据集中的图像被解压缩为 DICOM 格式。请参考本、本和本了解 DICOM 格式的简要概述以及如何在 Python 中使用 DICOM。
患者可以对同一个乳房进行两次乳房 x 线扫描，每次在不同的视图中(即 MLO 和 CC)。每张乳房 x 光照片都有以下 3 种图像:
- ***全乳腺扫描:*实际乳腺照片。
- ***裁剪图像:*质量异常的放大裁剪。
- ***感兴趣区域(ROI)掩模:*定位肿块异常的基础真实二元掩模。
这些图像都被解压缩到各自的.dcm文件中。这 3 种图像各有一个单独的.dcm文件(即只有 1 个肿块异常的乳房将有 3 个.dcm文件，3 种图像各一个)。每个.dcm文件包含图像(以数组的形式)和其他关于扫描的信息，如Patient's ID、Patient Orientation、Series Description、Modality和Laterality。
你会发现乳房有 1 个以上的肿块异常。对于每个肿块异常，这些病例将有一个裁剪图像和一个 ROI 掩膜。
4.2.的。csv 文件
.csv文件用作乳房 x 光扫描的目录。共有 4 个.csv文件:
- 计算-测试-描述. csv
- 计算-训练-描述. csv
- 质量测试描述. csv
- Mass-Train-Description.csv
这些文件中的每一个都包含关于每张乳房 x 光照片的信息，例如乳房密度、图像视图和病理学。请注意，在下面的行中有重复的患者 ID。同样，这表明单个患者可以有多张乳房 x 光照片(同一个乳房的多个视图，左右乳房的乳房 x 光照片，或者两者都有)。
5.解开数据集的嵌套文件夹结构
在使用 CBIS-DDSM 数据集的其他项目中，一个经常被忽视的解释是将文件夹结构重新组织成易于使用的结构。
从下面的片段中，我们看到下载数据集的原始文件夹结构是嵌套*，有非描述性的子文件夹名称，有非唯一的 *.dcm* 文件名。这使得将图像输入图像预处理管道(以及最终的模型训练管道)变得极具挑战性。因此，我们将编写一些代码来创建一个新的文件夹结构来解决这些问题。*
5.1.解释原始文件夹结构
*Folder structure BEFORE restructuring
=====================================**CBIS-DDSM**
│
├── **Calc****-Test_P_00038_LEFT_CC**
│ └── **1.3.6.1.4.1.9590...**
│ └── **1.3.6.1.4.1.9590..**
│ └── 1-1.dcm <--- full mammogram scan
│
├── **Calc****-Test_P_00038_LEFT_CC_1**
│ └── **1.3.6.1.4.1.9590...**
│ └── **1.3.6.1.4.1.9590...**
│ ├── 1-1.dcm <--- binary mask? cropped image?
│ └── 1-2.dcm <--- cropped image? binary mask?
...┌─────────────────┐│ **bold : folder** │
│ non-bold : file │
└─────────────────┘*
患者 P_00038 的左 CC 乳房 x 光片扫描保存为父文件夹Calc-Test_P_00038_LEFT_CC下的1-1.dcm文件。分解父文件夹名称，我们有:
Calc(或Mass):乳房 x 光照片中出现的异常类型。Test(或Train):乳房 x 光片属于测试集(CBIS-DDSM 已经将乳房 x 光片分为训练集和测试集)。P_00038:患者的 ID。LEFT(或RIGHT):左胸。CC(或MLO):乳房 x 光扫描的方向。
患者 P_00038 的左 CC 乳房 x 光扫描有其相应的二元掩模和裁剪图像。这些文件保存在一个单独的文件夹Calc-Test_P_00038_LEFT_CC_1(注意文件夹名末尾的_1)。混乱的部分来了——仅仅从文件名中不可能分辨出1-1.dcm和1-2.dcm分别是二进制蒙版还是裁剪后的图像，反之亦然。如果乳房 x 光片有一个以上的异常，那么每个异常对应的掩模和裁剪图像将以类似的方式保存，但保存在以_2、_3等结尾的单独文件夹中。
5.2.创建新的文件夹结构
下面的代码片段显示了重组后的新文件夹结构。现在不再嵌套和单独的文件有唯一的和描述性的文件名*。*
*Folder structure AFTER restructuring
=====================================**CBIS-DDSM**
│
├── **Calc**
│ ├── **Test**
│ │ ├── Calc-Test_P_00038_LEFT_CC_FULL.dcm
│ │ ├── Calc-Test_P_00038_LEFT_CC_CROP_1.dcm
│ │ ├── Calc-Test_P_00038_LEFT_CC_MASK_1.dcm
│ │ ...
│ │ └── Calc-Test_P_XXXXX_LEFT_MLO_MASK_1.dcm
│ │
│ └── **Train**
│ ├── Calc-Train_P_XXXXX_LEFT_MLO_FULL.dcm
│ ...
│ └── Calc-Train_P_XXXXX_RIGHT_CC_MASK_1.dcm
│
└── **Mass**
├── **Test**
│ ├── Mass-Test_P_XXXXX_LEFT_CC_FULL.dcm
│ ...
│ └── Mass-Test_P_XXXXX_LEFT_MLO_MASK_1.dcm
│
└── **Train**
├── Mass-Train_P_XXXXX_LEFT_MLO_FULL.dcm
...
└── Mass-Train_P_XXXXX_RIGHT_CC_MASK_1.dcm┌─────────────────┐│ **bold : folder** │
│ non-bold : file │
└─────────────────┘*
我创建了一组助手函数来实现上面的文件夹结构。
new_name_dcm()上面写着。并将它从1-1.dcm或1-2.dcm重命名为更具描述性的名称。move_dcm_up()然后移动改名。dcm 文件从嵌套文件夹结构向上移动到其父文件夹中。delete_empty_folder()然后删除任何空文件夹(在递归命名和移动。dcm 文件)。
在所有这些之上，count_dicom()统计了。重组前后的 dcm 文件，只是为了确保。重组前后的 dcm 文件是相同的。下面的代码片段显示了进行这种重组的主要函数。关于每个助手函数的详细信息，请参考项目的资源库。
点击 此处 查看全部三个功能的完整代码。
6.数据探索
6.1.处理不止一种异常情况
图六。包含钙化的乳房 x 光片和包含肿块异常的乳房 x 光片的分布。作者绘制的图像。
在数据集中的 2620 次乳房 x 光扫描中，有 1592 次包含肿块异常(其余的仅包含钙化异常)。这 1592 张乳房 x 光照片是我们将要处理的。在这 1592 次扫描中，71 次包含 1 个以上的肿块异常。因此，这 71 张乳房 x 光照片将具有 1 个以上的二元掩模(每个异常 1 个)。**
图 7。乳腺 x 线照片中肿块异常计数的分布(在 1 个肿块异常和> 1 个肿块异常之间)。作者绘制的图像。
图 8。有 1 个以上异常的乳房 x 线照片示例。从 DDSM CBIS取回的乳房 x 光片和口罩。作者插图。
注意有 1 个以上肿块异常的乳房 x 线照片是很重要的，因为它们的遮罩不应该单独处理。直观地说，如果我们将每个遮罩视为同一图像的单独标签，那么每当模型看到不同的遮罩但用于同一图像时，它都会感到困惑。因此，我们应该将掩模相加为单个掩模，并且使用该相加的掩模作为乳房 x 光照片的唯一标签。关于如何对掩码求和的代码将在 第二部分 中介绍。
图九。具有 1 个以上肿块异常的乳房 x 线照片的加总遮罩示例。当训练分割模型时，总和掩模将被用作其相应输入图像的唯一标签。从 CBIS-DDSM 取回的乳房 x 光片和口罩。作者插图。
接下来，第二部分:图像预处理
在本文中，我们讨论了问题陈述背后的动机，什么是语义分割，以及我们将使用的 CBIS-DDSM 数据集的重要数据。
在 第 2 部分 中，我们将分解我所采用的各种图像预处理技术的直觉，以及代码实现。
和往常一样，这个项目的代码可以在 my Github 的这个库中找到。
谢谢你
如果你已经读完了这篇文章，我希望你喜欢这篇文章。如果这篇文章给你自己的项目带来了一些灵感、价值或帮助，请随意与你的社区分享。此外，任何建设性的问题、反馈或讨论都是绝对受欢迎的，所以请随时在下面评论，或者在 LinkedIn 上联系我，这里是 或Twitter @ CleonW _。
请在 Medium ( Cleon Wong )上关注我，了解我的下一篇文章！
分割乳房 x 光片中的异常(第 2 部分，共 3 部分)
点击导航:第一部分 - >第二部分->-第三部分
在 TensorFlow 2 中对乳房 x 光片实施深度学习语义分割管道的分步指南。
作者绘制的图像。从 CBIS-DDSM 取回的乳房 x 光片和口罩。
如果你正在阅读这篇文章，很可能我们有着相似的兴趣，从事着相似的行业。所以让我们 通过 LinkedIn 连接起来，在这里我分享我关于 AI 和 ML 的想法和资源的花絮！
文章结构
本文是一个 3 部分系列的第 2 部分，介绍了我如何解决一个深度学习项目使用图像分割模型 识别乳房 x 光扫描中的肿块异常。 作为对项目进行详细分解的结果，这是对计算机视觉中的核心问题之一——语义分割的全面概述，也是对在 TensorFlow 2 中执行这个项目的技术细节的深入探究。
第一部分:
- 问题陈述。
- 什么是语义切分。
- 数据集下载指南。
- 你会在数据集中找到什么。
- 解开数据集的嵌套文件夹结构。
- 数据探索。
第二部分:
- 图像预处理流水线概述。
- 原始乳房 x 光片的一般问题。
- 深入研究原始乳房 x 光片的预处理流程。
- 深入到相应掩码的预处理管道。
第三部分:
- 介绍 VGG-16 U-Net 模型。
- 在 TensorFlow 2 中实现模型。
- 训练模型的注意事项。
- 结果和事后分析。
- 结束了。
GitHub 知识库
上接第 1 部分
我们结束了第一部分 ，很好地理解了问题陈述背后的动机，为什么选择 CBIS-DDSM 数据集，以及数据集中具体提供了哪些数据。在这一部分中，我们将涵盖整个图像预处理管道，它允许我们从原始图像进展到准备好输入语义分割模型的图像。
免责声明:这将是一个深入的教程。这是一个相当长的阅读，但你会留下广泛的知识，一般的图像预处理方法和可重用的代码，您可以添加到自己的图像预处理“工具箱”。
1.图像预处理流水线综述
图一。通过图像预处理管道的 6 幅图像的动画样本，显示了每一步的变化。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
图像的图像预处理相当于我们熟悉的其他类型数据(表格数据、文本流等)的“数据清理”。).就像任何其他使用这些类型数据的机器学习管道一样，图像预处理(或数据清理)的目标是准备好输入模型的数据，提高数据质量，并使模型更容易从最高质量的信息中学习特征和模式。
我们如何对图像进行预处理，使得“模型更容易从中学习特征和模式”？对此没有一个放之四海而皆准的答案，这在很大程度上取决于我们试图解决的计算机视觉问题和我们使用的图像。
在这个项目中，我们的图像预处理管道由图 2 中所示的步骤组成，我将在接下来的章节中详细解释。
图二。用于全乳房 x 线扫描的图像预处理管道及其相应的二进制地面真实掩模的概述。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
2.原始乳房 x 光片的一般问题
为什么管道是这样的？为了理解其背后的直觉，我们需要目测检查原始的乳房 x 光片。这些原始乳房 x 光照片提出了阐明所选图像预处理步骤的一般“问题”。管道的目的是修复这些问题，以便我们最终获得模型可以学习的高质量图像。
图三。选定的原始乳房 x 光片及其需要通过图像预处理管道解决的一般“问题”的注释。问题按颜色分类。从 CBIS-DDSM 取回的乳房 x 光片和口罩。作者绘制的图像。
通过对原始乳房 x 光片的视觉检查，我们可以看到乳房 x 光片通常存在以下问题:
- 一些边缘有明亮的白色边框/角落。这些边界可能会创建一个任意的边缘，作为模型可以学习的图像中的一个特征。
- 背景中漂浮的人工制品。在实践中，这些伪影用作标记，放射科医生使用这些标记来区分左侧乳房和右侧乳房，并且还识别扫描的方向。例如，我们看到“LCC ”,它表示左侧乳房，CC 方向。
- 乳房朝向的方向不一致。一些面向左，而另一些面向右。这是一个问题，因为它可能会使图像预处理变得复杂。
- 有些乳房 x 光片的对比度差。这使得乳房区域看起来几乎是单调的灰色，导致乳房组织和肿块异常之间几乎没有纹理和有意义的差异。这可能会减缓模型的学习。
- 由于这些乳房 x 光片是从实际的硬拷贝扫描并保存为软拷贝，因此背景并不是全黑的。背景可能包含不经意间可学习但无意义的特征，这些特征对人眼来说是不可见的。
- 图像不是方形的。大多数计算机视觉深度神经网络模型要求输入图像是正方形的。
3.深入研究原始乳房 x 光片的预处理流程
我们将首先解释乳房 x 线照片扫描的图像预处理步骤，然后解释它们对应的二元掩模的步骤。
我为每一步都编写了一个助手函数，因为这使得管道更加模块化，并且能够轻松执行整个管道。为了简洁起见，我删除了 doc 字符串和 try-except 块。访问我的库，在这里访问完整的代码。
import numpy as np
import cv2
import pydicom
3.1.步骤 1-裁剪边框
**这一步解决:**亮白色边框/边角。
步骤 1 —裁剪订单()。点击 此处 查看完整代码。
我从左右边缘剪切了图像宽度的 1%,从上下边缘剪切了图像高度的 4%。不同的乳房 x 光扫描具有不同厚度的边界。经过反复试验，我发现这些百分比可以很好地去除乳房 x 光扫描中的大部分边界。虽然分割算法是一种更复杂的识别每张乳房 x 光照片边界的方法，但我选择了这种有点基础的方法，因为它更快，并且它对大多数图像的结果对我们的用例来说足够好。毕竟，在图像预处理管道中使用分割算法来完成分割任务是一种大材小用。
图 4。图像预处理流程的第一步——裁剪边框。以红色突出显示的是需要移除的边框和边角示例。从 CBIS-DDSM 取回的乳房 x 光片和口罩。作者绘制的图像。
3.2.步骤 2-最小-最大归一化
**这一步求解:**像素值范围从[0，65535]到[0，1]。
步骤 2 —最小最大规格化()。点击 此处 查看完整代码。
乳房 x 光片以 16 位数组的形式保存在。dcm 文件。这意味着像素值的范围从[0，65535] (2 ⁶ = 65535)。这些大整数值可能会减慢神经网络的学习过程。因此，将这些值归一化到[0，1]范围内是一种很好的做法。当使用 OpenCV 和 Matplotlib 库时，范围为[0，1]也使图像可视化更简单。
3.3.第 3 步——消除假象
**该步骤解决:**背景中漂浮的赝像。
消除赝像是一个复杂的过程，可以通过多种方式实现。伪影可以以不同的大小和强度出现，并且它们可以位于图像的几乎任何部分，这取决于乳房面对的方向。
第三步会实现两件事。去除任何伪像，并确保背景完全是黑色的(即像素值为 0)。
为了消除假象，我按照以下顺序实现了四个函数:
globalBinarise()editMask()sortContoursByArea()xLargestBlobs()
让我们从头开始建立每个功能背后的直觉。
从根本上说，我们需要认识到去除伪影与仅保留乳房 x 光照片中的乳房区域达到了相同的效果。乳房区域保持不变，其他一切都应该是背景(即完全黑色)。有了这种直觉，我们现在可以重新表述从以下对象中移除人工制品的问题:
- 定位并移除人工制品以…
- 定位乳房区域，保留它，然后移除其他所有内容。
这一重新表述的目标正是这四项职能所要实现的。
Bi 目测，可以肯定的说大部分背景像素非常接近黑色(即像素值非常接近 0)。利用这种直觉，我们可以使用阈值(thresh)对乳房 x 线照片进行二值化，以创建二值掩模，其中 0 表示背景像素，1 表示属于乳房区域、伪影或噪声的像素。这就是globalBinarise()函数的作用。
步骤 3a — globalBinarise()。点击 此处 查看完整代码。
图五。图像预处理流水线的步骤 3a。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
上面显示了globalBinarise()的输出。实际上，我们看到任何为 0(黑色)的像素属于背景，任何为 1(白色)的像素或者是赝像、乳房或者是背景噪声(例如背景中的斑点)。
在生成二值掩模之后，我们在掩模中扩展白色轮廓的边界。这确保了我们真正捕捉到任何人工制品的整个区域，包括其边界。这是通过使用函数editMask()中的开始形态操作来完成的。
步骤 3b —编辑掩码()。点击 此处 查看完整代码。
图六。图像预处理流水线的步骤 3b。从 DDSM CBIS 取回的乳房 x 光片和口罩。作者绘制的图像。
现在我们有了编辑过的二进制掩模，我们面临下一个问题——二进制化将乳房区域和伪影都识别为 1(即白色区域)。我们现在需要知道哪个白色轮廓属于乳房区域，因为这是我们想要保留的区域。下面是下一个直观的推理——从视觉检查来看，乳房轮廓几乎总是二元掩模中最大的轮廓。因此，如果我们能够根据它们的面积来计算和分类每个轮廓，我们将能够将乳房轮廓识别为具有最大面积的轮廓。这正是sortContoursByArea()所做的。
步骤 3c — sortContoursByArea()。点击 此处 查看完整代码。
有了排序后的轮廓，我们现在可以选择要在乳房 x 光照片中保留哪些轮廓。如上所述，由于乳房区域是掩模中最大的区域，并且它几乎总是被二值化为单个区域，所以我们可以有把握地说，掩模中的顶部 1 轮廓是我们想要从原始乳房 x 光照片中保留的唯一区域。这就是xLargestBlobs()的作用。它保留最大的x斑点(也称为轮廓)并丢弃其余的。我使用了x=1，但是该函数可以接受x的任何值。
步骤 3d — xLargestBlobs()。点击 此处 查看完整代码。
图 7。图像预处理流水线的步骤 3c 和 3d。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
最后，我们可以使用这个遮罩来掩盖原始图像中的伪影。乳房 x 光检查。这意味着“保留白色区域，将其他区域设置为黑色”。applyMask()正是如此。
步骤 3e —应用屏蔽()。点击 此处 查看完整代码。
图 8。图像预处理流水线的步骤 3e。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
而且……我们已经完成了移除艺术品的工作！现在，你可以看到上面提到的步骤是如何帮助我们实现两件事的——去除任何伪像，使背景完全变黑(即像素值为 0) 。
现在已经忙得不可开交了，休息一下，让我们进入流水线的第 4 步。
3.4.步骤 4 —水平翻转
**这一步解决:**乳房方向不一致。
这个步骤标准化了乳房在所有乳房 x 光照片中所面对的方向。在数据集中，大多数乳房区域位于乳房 x 光片的左侧，面向右侧。本能地，将所有的乳房 x 光片定位在相同的方向似乎没有必要，因为它们将在数据扩充期间随机翻转(这将在第 3 部分 的 中介绍)。
虽然这是真的，但确保所有乳房 x 光片都在左边会使我们在步骤 6 中填充乳房 x 光片时更容易。为什么会这样呢？因为所有的乳房区域都在左边，我们知道我们只需要填充每张乳房 x 光片的右边来形成一个正方形！
checkLRFlip()首先检查乳房 x 光片是否需要翻转。这是通过比较乳房 x 线照片左半部分和右半部分的像素值的总和来实现的。如果后者大于前者，则意味着乳房区域在右侧，需要翻转，然后由函数makeLRFlip()完成。
步骤 4 — checkLRFlip()和 makeLRFlip()。点击 此处 查看完整代码。
3.5.步骤 5 — CLAHE 增强
**这一步解决:**乳腺组织对比度差。
对比度受限的自适应直方图均衡化(CLAHE)用于增强灰度图像的对比度。这有助于增强乳房 x 光照片中的小细节、纹理和特征，否则这些细节、纹理和特征对于模型学习来说是有挑战性的。
注意，因为背景现在是全黑的(来自步骤 3 ，我们不会遇到背景中的噪声被无意增强的问题。clahe()执行对比度增强。
第 5 步— clahe()。点击 此处 查看完整代码。
图九。图像预处理流水线的步骤 4 和 5。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
3.6.第六步——垫成正方形
**这一步解决:**图像不是正方形。
最后一步是将图像填充成正方形。这是必要的，因为大多数(如果不是全部)计算机视觉模型接受正方形图像作为输入。为此，pad()检索乳房 x 光片的尺寸，并在其右侧边缘添加必要数量的黑色像素列。
由于在执行步骤 3 后背景完全为黑色，添加黑色像素不会在最终的正方形图像中引入任意边缘。
第 6 步—填充()。点击 此处 查看完整代码。
图 10。最后一步，图像预处理流水线的第 6 步。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
3.7.链接步骤以形成流水线
图 11。通过图像预处理管道的 6 幅图像的动画样本，显示了每一步的变化。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
最后，我们使用下面的fullMammoPreprocess()助手函数将上面提到的 6 个步骤连接起来。对于该函数接收的每一张原始乳房 x 光片(img)，它都将其通过管道，并输出其预处理后的形式(img_pre)和一个布尔值lr_flip。如果lr_flip = True，我们知道乳房 x 光片已经在步骤 4 中翻转，否则它没有翻转。这对预处理二进制掩码很重要，这将在第 4 节的中解释。
将管道连接在一起。点击 此处 查看完整代码。
而且……我们已经完成了原始乳房 x 光片的图像预处理流程！
4.深入研究相应掩码的预处理管道
预处理每张乳房 x 光照片的相应掩模背后的直觉很简单。为了建立直觉，我们需要了解模型是如何使用遮罩的。
4.1.管道
二进制掩码被用作基本事实标签。这些标签用于在训练过程中通过将误差与模型的预测分割进行比较来计算误差。因此，每个预处理的乳房 x 光照片需要其对应的二元掩模具有相同的形状并且面向相同的方向。**因此，我们需要对每个对应的蒙版执行步骤 1 (裁剪边框)步骤 4 (水平翻转)步骤 6 (填充)。**这解释了为什么我们需要在fullMammoPreprocess()中返回布尔变量lr_flip。它告诉我们是否需要对每个掩模执行步骤 4 。
由于掩模是二进制的(即像素值仅为 0 或 1)，因此不需要增强、噪声去除或归一化。这意味着步骤 2 (最小-最大归一化)步骤 3 (去除伪影)和步骤 5 (CLAHE 增强)是不必要的。
因此，我们简单地编写了一个名为maskPreprocess()的函数，它将为上述原始乳房 x 光片的预处理编写的步骤 1 、步骤 4 和步骤 6 的必要辅助函数链接起来。
对应掩模的图像预处理流水线。点击 此处 查看完整代码。
4.2.求和掩模(参见第 1 部分的第 6.1 节)
最后一件事。作为掩模预处理的一部分，我们需要对包含一个以上肿块异常的乳房 x 光片的掩模求和(如第 1 部分 的 第 6.1 节所述)。正如所承诺的，下面是对包含多个肿块异常的乳房 x 线照片掩模求和的代码。你可以在我的库这里找到全部代码。
具有一个以上肿块异常的乳房 x 线照片的总和掩模。参见第一部分 的 第 6.1 节。点击 此处 查看完整代码。
接下来，第 3 部分:构建图像分割模型
恭喜你坚持到这篇文章的结尾！在这篇文章中，我们对原始乳房 x 光片的图像预处理管道及其相应的掩模有了很好的直觉。因此，我们选择了一些通用的图像预处理辅助函数，可以将它们添加到现有的图像预处理工具包中。
在 第 3 部分 中，我们将通过检查选择的图像分割模型(提示—它是一种 U-Net)、在 Tensorflow 2 中实现它、训练模型并最终评估结果来结束这个项目。
和往常一样，这个项目的代码可以在这个库的 my Github 中找到。
谢谢你
如果你已经读完了这篇文章，我希望你喜欢这篇文章。如果这篇文章给你自己的项目带来了一些灵感、价值或帮助，请随意与你的社区分享。此外，任何建设性的问题、反馈或讨论都是绝对受欢迎的，所以请随时在下面评论，或者在 LinkedIn 上联系我，这里是 或 Twitter，地址是@CleonW_ 。
请在 Medium ( Cleon Wong )上关注我，了解我的下一篇文章！
第三部 见！
分割乳房 x 光片中的异常(第 3 部分，共 3 部分)
点击导航:第一部分->-第二部分 - >第三部分
在 TensorFlow 2 中对乳房 x 光片实施深度学习语义分割管道的分步指南
饼干——乳房 x 光片的答案将在本文结尾揭晓！图片作者。从 DDSM CBIS取回的乳房 x 光片和口罩。
如果你正在阅读这篇文章，很可能我们有着相似的兴趣，从事着相似的行业。所以让我们 通过 LinkedIn 连接起来，在这里我分享我关于 AI 和 ML 的想法和资源的花絮！
文章结构
这篇文章是一个 3 部分系列的第 3 部分，讲述了我如何解决一个深度学习项目，即使用图像分割模型 识别乳房 x 光扫描中的肿块异常。 作为对项目进行详细分解的结果，这是对计算机视觉中的核心问题之一——语义分割的全面概述，也是对在 TensorFlow 2 中执行这个项目的技术细节的深入探究。
第一部分:
- 问题陈述。
- 什么是语义切分。
- 数据集下载指南。
- 你会在数据集中找到什么。
- 解开数据集的嵌套文件夹结构。
- 数据探索。
第二部分:
- 图像预处理流水线概述。
- 原始乳房 x 光片的一般问题。
- 深入研究原始乳房 x 光片的预处理流程。
- 深入到相应掩码的预处理管道。
第三部分:
- 介绍 VGG-16 U-Net 模型。
- 在 TensorFlow 2 中实现模型。
- 训练模型的注意事项。
- 结果和事后分析。
- 结束了。
GitHub 知识库
从第二部分继续
我们结束了 第二部分 ，深入了解了我们的图像预处理流程，以及每个图像预处理步骤的可重用代码。通过管道，我们能够从原始图像进展到预处理图像，这些图像可以被输入到分割模型中。
在这一部分中，我们将介绍所选分割模型(VGG 16 U 网)背后的直觉，如何在 Tensorflow 2 中实现它，以及对结果的评估。
1.介绍 VGG-16 U-Net 模型
图 1 VGG U-Net 模型架构。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
自从 Olaf Ronneberger 等人在 2015 年发布他的论文“U-Net:用于生物医学图像分割的卷积网络”中开发并记录了 U-Net 架构，U-Net 已经成为用于分割任务的常见架构。它包括两个主要部分——编码器模块**(图的上半部分)和解码器模块**(图的下半部分)。这两个部分一起形成了一个 U 形，这解释了它的名字。****
U-Net 的高层次直觉就是如此。编码器模块学习特征并告诉我们“图像中有什么”，就像在分类任务中一样。然后，解码器模块在语义上将编码器模块学习的这些低分辨率特征投射回原始输入图像的全分辨率像素空间，为我们提供全分辨率分割图。
**编码器块:通常是卷积层和最大池层的传统序列。可以把它想象成一个典型的卷积神经网络(CNN)架构，用于分类任务，但没有最后的密集层(这些类型的网络被称为全卷积网络(FCN) )。这个 FCN 可以是你自己设计的，也可以取自任何现有的 CNN，如 AlexNet 、 VGG-16 或 ResNet 。对于这项任务，我选择了 VGG-16 的编码器块(没有最终的密集层)，因为我比其他 CNN 模型更好地理解它。
**解码器模块:**它是与编码器模块对称的上采样卷积和级联层的网络。从图 1 的中可以看出，从编码器块中选择的特征映射被连接到它们在解码器块中的相应层。由于 CNN 的早期层倾向于学习低级特征，而后期层学习更高级的特征，这种连接允许 U-Net 映射在所有级别上学习的特征，以产生最终的全分辨率预测分割图。
我强烈建议你阅读这篇文章，以获得关于 U-Net 架构的更深入的解释。
2.在 Tensorflow 2 中实现模型
import tensorflow as tffrom tensorflow import keras
在实际代码中，我将模型实现为一个名为unetVgg16的 Python 类对象。为了简洁起见，我只包含了下面代码中对实现至关重要的部分。您应该访问项目的存储库以获得实现该模型的完整代码。
函数buildEncoder()用于在迁移学习的帮助下构建 U-Net 的编码器部分。在第 3 行到第 8 行，我导入了 VGG-16 模型，其权重在来自 Keras 模型动物园的 ImageNet 数据集上进行了预训练。设置include_top=False从 VGG 16 中移除我们不想要的密集层(密集层被认为是 Keras 中的顶层)，只给我们留下 VGG 16 的 FCN 部分。如果你对迁移学习不熟悉，这篇文章应该给你一个很好的、温和的介绍。
使用迁移学习构建模型的编码器部分。点击 此处 查看完整代码。
然后，函数buildUnet()构建解码器，从而构建整个 U-Net 架构。它调用buildEncoder()函数来创建编码器模块，并在其上构建解码器模块，最终形成 VGG-16 U-Net 的完整架构。如图 1 中的所示，解码器模块中有 5 个子模块，模块 5 从图的右侧开始，接着是左侧的最后一个卷积层(红色)。
由于buildUnet()函数包含近 300 行代码(因为它包含文档字符串、注释和换行符)，您可以参考这里的库获取完整代码。在浏览代码时，记住以下几点很重要:
keras.layers.Conv2D()构建传统卷积层。keras.layers.Dropout()插入传统的脱落层。keras.layers.Concatenate()在每个子块的开始执行连接。keras.layers.Conv2DTranspose()负责每个子块之间特征图的上采样。这是将编码器块学习的低分辨率特征映射投影到原始图像的全分辨率像素空间。
3.训练模型的注意事项
既然我们已经适当地预处理了图像(来自 第二部分 )并建立了模型，现在是训练模型的时候了。
我想重点谈谈训练管道的两个方面，它们对于这一分割任务至关重要且独一无二——图像增强和创建在每个训练时期结束时跟踪的自定义 IOU 指标。
3.1。图像增强
图像增强可用于从现有的训练数据中人工创建新的训练数据，也可用于在数据集中引入可变性。
有许多图像放大可以做，其中我选择了以下来执行:
- 随机水平翻转(概率 50%)。
- 随机垂直翻转(概率 50%)。
- 随机亮度调节。
如果你想阅读更多关于 TensorFlow 中其他可能的图像增强的内容，这篇文章是一个很好的起点。
图 2 图像增强样本图像。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
下面的代码片段显示了如何在 TensorFlow 2 中实现随机的水平翻转、垂直翻转和亮度调整。和往常一样，你可以参考项目的资源库获取的完整代码。
imgAugment() —用于图像增强的辅助函数。点击 此处 查看完整代码。
我们必须记住，只有适当的图像增强才能帮助我们的模型学习！当选择合适的增强时，最重要的考虑之一是增强必须实际产生对我们的任务有意义的真实图像。
那么，什么是不切实际和无意义的图像，可以从不适当的扩大？图 3 举例说明了对预处理后的乳腺照片进行随机旋转、剪切、宽度移动和高度移动的结果。
图 3 不适用于我们用例的图像增强(随机旋转、剪切、宽度移动和高度移动)示例。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
上面的图像是不现实的，没有意义的，因为我们在现实中几乎不会遇到这样的乳房 x 光片！当我们将这种无意义的图像输入到我们的模型中时，模型将学习对分割问题没有意义的特征，并减慢其收敛速度。还要记住，这些剪切、旋转和移动也必须应用到蒙版上，这也是非常不现实和没有意义的。
换句话说，当选择正确的图像增强来执行时，我们必须问自己，“以这种方式增强图像有意义吗？”
3.2.创建自定义 IOU 指标
TensorFlow 允许我们通过[compile](https://www.tensorflow.org/api_docs/python/tf/keras/Model#compile) API 中的metrics参数在每个训练时期结束时跟踪某些指标。通常，我们使用准确度、精确度和均方误差等指标。然而，这些度量并不十分适用于语义分割问题。相反，更常用的是交集/并集(IoU) 指标。
简而言之，IoU 是预测分割和基础事实之间的重叠百分比，除以预测分割和基础事实之间的联合面积。使用下面图 4 中的插图可以更好地解释这一点。
图 4 计算预测分割的 IoU 的简化示例。欠条是用浮点数(或分数)还是百分比来表示并不重要。作者绘制的图像。
从图示中，我们看到 IoU 的范围从 0 到 1；当预测的分割完全关闭(即，根本不与基础事实相交)时为 0，当预测的分割与基础事实完全匹配时为 1。我强烈建议阅读本文中标题为*“为什么我们使用交集而不是并集】*的部分，以更好地理解这一指标。
下面的代码片段展示了如何在 TensorFlow 中实现 IoU。参考这里的完整代码来看看我是如何在 TensorFlow 的compile API 中实现它的。
使用基础真值掩码(y-true)和预测分段(y_pred)计算交集/并集度量的自定义函数。点击 此处 查看完整代码。
3.3.训练模型
图 5 跨 43 个训练时期的二进制交叉熵损失函数和 IoU 检查点的图表。图中的每个点是每个训练(和验证)时期的平均损耗值和平均 IoU。作者绘制的图像。
最后，在以下配置下训练模型，图 5 显示了训练结果。
- 历元数: 43(被 Keras 的早期停止)
- 批量大小: 10
- 学习率: 0.00001
- 辍学率: 0.5
- **损失函数:**二值交叉熵损失
- 乐观者:亚当
训练和验证借据的最大值在 0.20 左右。
4.结果和事后分析
在本文的最后一部分，我们深入分析模型的预测分割(也称为预测遮罩)。由于没有很多文献对这一特定的细分问题进行了研究，因此没有可供我们比较的基准。因此，我们将目视检查掩模，并使用“第一原理”方法对结果进行启发式和逻辑评估。
4.1.分析预测的掩模
图 6 预测分割的样本(最后一列)。从 CBIS-DDSM 取回的前两列乳房 x 光片和口罩。
通过快速目测，预测的分割看起来相当准确(注意“相当准确”将在第 4.4 节中更正式地定义)。该模型能够分割大多数肿块异常。看起来模型的主要错误是分割了比地面真相遮罩中更多的区域(而不是分割得更少)。通常，这些额外的区域是乳房 x 光照片中的亮点，看起来非常像肿块异常。
请注意，模型的预测掩膜是软掩膜(与硬二进制掩膜相对，如数据集中的地面真实掩膜)。这是由于 U 形网的最终 s 形图层导致预测遮罩中的值介于 0.0 和 1.0 之间。这些像素值可以被解释为每个像素属于“异常”类别的概率(1.0 表示该像素是异常的确定性)。
4.2.0.2 的 IoU 就一定不好吗？不完全是。
虽然预测的分段通常看起来是可接受的，但是很自然地，看着图 5 中的 IoU 图，并且问，“为什么训练(和验证)时期的最高平均 IoU 只有大约 0.20？”(其他分段题有时会有 0.80 以北的白条)。
图 7 测试集图像的 IoU 分布。IoU 中值为 0.1830，平均值为 0.2033。作者绘制的图像。
在我们解决这个问题之前，请注意，模型产生的软掩码可能会导致 iou 低于硬掩码。这是有争议的，因为从软遮罩创建硬遮罩需要一些二值化技术，如阈值处理，这可能会影响 IoU 得分。然而，模型输出的柔化蒙版是需要记住的。
图 8 预测 iou 在 0.20 范围内的掩码。绿色区域表示地面真实遮罩，红色区域表示模型的预测遮罩。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
要解决问题，更重要的是看预测出来的借据在 0.20 左右的口罩，如上图图 8 所示，看是否可以接受。从这些掩码中，我们看到它们实际上是可以接受的，尽管它们的 IoU 分数很低，但与地面真相掩码没有太大的不同。同样非常重要的是，该模型能够在大多数乳房 x 光照片中分割肿块异常的细胞核。在一些乳房 x 光照片中，该模型甚至分割出了看起来确实像肿块的区域，而地面真相掩盖没有捕捉到这些区域。
因此，0.20 左右的平均 IoU 对于我们的特定分段问题来说实际上相当不错，对这种低 IoU 的一种可能解释可能是模型输出的软屏蔽。
4.3.看着最低的借条
图 9 借据接近 0 的预测掩码样本。绿色区域是地面真实遮罩，红色区域是预测遮罩。从 DDSM CBIS取回的乳房 x 光片和口罩。
看预测的白条最低的口罩也很重要。上面的图 9 示出了当异常非常小时，当乳房区域具有密集的乳房组织网时，或者两者兼有时，该模型在分割肿块异常时表现不佳。
4.4.3 种最常见质量形状的分割性能
数据集中三种最常见的肿块形状是分叶状、不规则形和椭圆形。通过查看每个团块形状的*【精确】*预测掩模的百分比，我们可以了解我们的模型对每个团块形状的分割性能。
准确预测是什么意思？我们可以在视觉上检查预测的掩模，以试探性地定义什么是“精确预测的掩模”。为此，我们首先从视觉上检查预测的掩码并识别看起来准确的掩码(即看起来非常类似于地面真实掩码)，然后我们使用这些掩码的 IoU 来计算“可接受的”IoU 基准。高于基准的预测掩码可以被认为是“准确预测的”。
图 10-a、10-b 和 10-c 评估模型在 3 种最常见质量形状上的性能。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
对于每个质量形状，我查看了看起来与其对应的地面真实遮罩最相似的前 4 个预测遮罩，并将其绘制在图 10-a、10-b 和 10-c 的左侧*。我叠加了预测遮罩(红色区域)和地面真相遮罩(绿色区域)，使它们更容易比较。从那里，我们看到这些预测的面具有 0.40 左右的借据。换句话说，我们可以说具有 IoU ≥ 0.4 的预测掩码可以被认为是精确预测。使用该基准，我们看到该模型对于不规则形状的块体表现最佳，其中 16.67%被该模型准确预测。*
包扎
最后，我们来到了这个 3 部分系列的结尾，在这里我们详细地分解了从乳房 x 光片中分割肿块异常的任务。在本系列中，您学习了什么是语义分割，以及如何从开始(下载数据)到结束(评估结果)构建图像分割任务的管道。最重要的是，你了解了我是如何处理流水线每个阶段面临的问题，以及我的代码背后的直觉。你现在可以将这些心智框架应用到你自己的机器学习项目中。
离开前的最后一件事——这是本系列标题图片中问题的答案！
图 11 题图答案。从 DDSM CBIS取回的乳房 x 光片和口罩。作者绘制的图像。
那么…你能找到肿瘤吗？
你应该看看本系列的第 1 部分和第 2 部分，如果你还没有，它们给出了问题陈述的一个很好的背景，并逐渐积累了从第 3 部分中获得最大收益所需的知识！
谢谢你
如果你已经读完了这篇文章，我希望你喜欢这篇文章。如果这篇文章给你自己的项目带来了一些灵感、价值或帮助，请随意与你的社区分享。此外，任何建设性的问题、反馈或讨论都是绝对受欢迎的，所以请随时在下面评论或在 LinkedIn 上联系我，这里是 或 Twitter，地址是@CleonW_ 。
请在 Medium ( Cleon Wong )上关注我，了解我的下一篇文章！
教电脑看到你的痛苦
使用 Pycaret，OpenFace，Pandas 和其他 python 魔术
图片由 Mahdis Mousavi 在 Unsplash 拍摄
背景
疼痛是一种独特的体验，由因人而异的感觉、认知、社会和情感因素混合而成。这些因素结合在一起，很难有把握地评估一个人的经历。目前，最常见和最受推崇的评估疼痛的方法是通过口头报告(例如，等级量表 1-10)。然而，这种方法可能会有偏差，并不总是可用的(非语言患者)。因此，额外的疼痛评估方法是必要的。
一种推断疼痛的技术是通过面部表情分析。历史上，研究人员通过观察面部肌肉运动来预测情绪和行为。这一过程使得理解疼痛表情中的面部运动组合成为可能。使用手动技术，面部表情分析非常耗时且工作量大，但机器学习的出现使得以更快的速度和更高的精度评估疼痛成为可能。现在，研究人员可以使用机器学习工具来创建分类器，这些分类器可以预测疼痛的存在(即分类)和强度(即回归)。下面的教程将描述如何制作用于疼痛评估的二元分类机器学习分类器。
准备数据
对于这个例子，我们使用特拉华州疼痛数据库，这是一个姿势图像库，描绘了疼痛的个人和中性面孔的个人。迄今为止，这个数据库是研究人员可获得的最大的不同疼痛图片样本。
要了解更多关于特拉华州疼痛数据库的信息，请阅读下面的文章:
https://pubmed.ncbi.nlm.nih.gov/33134750/
为本教程准备的数据是使用工具 OpenFace 提取的，该工具使用机器学习模型来评估面部肌肉运动的强度。
https://ieeexplore.ieee.org/document/7477553 
作者使用 OpenFace 面部表情分析的示例
面部的肌肉运动也被称为“动作单位”。从 OpenFace 中提取的每个动作单元都是一个 0-5 范围内的连续变量，代表表达的强度。动作单位强度与特拉华州疼痛数据库中的疼痛或中性标签一致。xlsx 文件。这些数据用于训练模型。
OpenFace 分析的图片首先是从特拉华州疼痛数据库库中下载的。
如前所述，每张照片都预先做了标记(疼痛或中性)。在命令提示符下用 OpenFace 的 FaceLandmarkImg 函数分析图像目录。
!FaceLandmarkImg.exe -fdir <directory_of_pain_neutral>
包含类别(疼痛与中性)和行动单元的 Excel 文件
这里的每一行数据代表一个参与者，其类别代表疼痛或中性，AU_xx 列代表不同面部肌肉的动作单位(肌肉运动)强度。
设置模型数据
为了创建这个模型，我们将使用许多不同的 python 库。以下是最重要的:
在上传数据文件之前，每个图像都用来自特拉华州疼痛数据库的相应行为(中性或疼痛)进行了注释。因此，我们将使用 pycaret 训练一个二进制模型。我们的模型将从面部图像中确定中性表情和疼痛表情之间的差异。
具有面部运动特征的训练数据集
加载数据
Pandas 读取我们的数据和数据集。
import pandas as pd
dataset = pd.read_excel("combined_pain_csv.xlsx")
dataset = dataset.sample(frac=1).reset_index(drop=True)
dataset
拆分数据
接下来，我们将我们的数据分成两组:训练和不可见。我们首先用训练集(自然地)训练我们的模型，然后在我们看不见的预测数据集上部署训练好的模型来评估性能。
data = dataset.sample(frac=0.95, random_state=786)
data_unseen = dataset.drop(data.index)data.reset_index(inplace=True, drop=True)
data_unseen.reset_index(inplace=True, drop=True)print('Data for Modeling: ' + str(data.shape))
print('Unseen Data For Predictions ' + str(data_unseen.shape))
拆分数据后的输出
导入 Pycaret
Pycaret 有几个不同的模块，封装了特定的机器学习算法和函数，这些算法和函数在不同的模块中一致使用。有 6 个模块可供导入。其中包括:
- 回归
- 分类
- 异常检测
- 使聚集
- 自然语言处理
- 关联规则挖掘
因为我们的模型旨在基于两个类来辨别预测，所以我们导入 pycaret.classification 来创建分类模型。
from pycaret.classification import *
创造实验
Pycaret 需要我们在创建模型之前设置数据。我们必须指定我们的数据框架和目标。
exp_clf102 = setup(data = data, target = 'class')
设置输出
在本实验中，疼痛被标记为 1，无疼痛被标记为 0。因此，我们的目标类别是疼痛/中性标签，我们的 17 个特征是不同面部肌肉运动的强度。
从 Cohn 和 Kanade 的数据库中提取的一些行动单位的例子
比较模型
Pycaret 最好的特性之一是 compare_models 函数。这个函数允许我们用一行代码比较 24 个不同模型的指标。我们使用 n_select 来根据精确度选择前三个模型。通过建立我们的前 3 个模型，我们可以创建一个投票分类器，通过一次比较多个模型并使用概率最高的标签来评估标签。
# Compare metrics of 24 different machine learning models
top3 = compare_models(n_select = 3)
Pycaret 模型比较
如表中所示，Extra Tress 分类器是我们数据中性能最好的模型，其次是轻梯度推进机和逻辑回归。
每个指标的最高分以黄色突出显示。
创建模型
接下来，我们基于对上述最佳模型的分析创建一个模型。Pycaret 的 blend_models 允许我们从表中的前三个模型创建投票分类器。因此，我们的模型是 et+ lightgbm + lr，并且我们的投票系统采用至少两个一致的模型的预测。
混合分类器度量
我们的混合分类器表现得比单独的额外分类器更好。
评估模型性能
Pycaret 让我们很容易用 evaluate_model 来评估我们的模型的性能。
我们可以用混淆矩阵来查看标签的分类。
混淆矩阵输出
我们还可以查看 AUC 图。
AUC 图
调整并最终确定模型
让我们通过调整和最终确定对模型进行最后的润色。
tune = tune_model(blend)
final = finalize_model(tune)
predict_model(final)
在我们调整和完成之后，我们的模型达到了 100%的准确性！
结论
原来如此！我们教会了一台计算机根据一组摆出的疼痛和中性姿势的图像来预测疼痛的表情。我们的模型根据面部分析的肌肉运动强度预测疼痛/中性标签。具有机器学习的自动化系统是疼痛护理和研究的未来。有了这些工具，我们可以快速准确地监测疼痛。
这一领域的未来工作可能包括建立一个回归模型来评估疼痛的强度，而不是简单的二元分类器，这将进一步提高疼痛测量的灵敏度。走出去，让它发生！
作者的相关文章—
https://medium.com/geekculture/future-directions-of-machine-learning-for-pain-in-individuals-who-are-nonverbal-85e593794344 https://medium.com/discourse/the-virtual-transformation-of-chronic-pain-care-d582fe782df2
感谢您的阅读！！
当数据发生变化时，你能相信你的模型吗？
在实际应用中，机器学习并不像我们预期的那样普遍:让我们来探索一下为什么。
爱丽丝·山村在 Unsplash 上的照片
机器学习是热门话题。模特们已经表明，凭借当今的技术，她们能够取得令人瞠目结舌的结果。不幸的是，实验室和真实世界是两个不同的游戏场:如果算法看到的数据与它们接受训练的数据相似，那么它们就会工作得很好，但情况并非总是如此。数据可能会因多种因素而发生变化:
- 标记数据的缺乏——注释数据是昂贵的，所以模型在可用的基础上训练，希望它完全代表用例；
- 时间——例如，语言中出现新的术语，以前的事实不再有效，等等。；
- 地理——例如，英国英语对美国英语，母语对非母语者，等等。；
- 格式——例如，短文档与大文档，一个领域的术语与另一个领域的术语，等等。
泛化是我们在无所不在的人工智能时代面临的真正挑战。为了了解如何面对这一挑战，我们在泛化任务中测试了几种算法，以了解它们的反应，并在本文中收集了我们的发现。
1.背景
我们想模拟真实情况下会发生什么，所以我们搜索了一个与公司工作相似的数据集。消费者投诉数据库似乎是一个完美的选择:它包含了数以千计的匿名投诉——用户投诉金融服务的短文本——按九个类别和五十个子类组织，即受投诉影响的服务。例如，对于“学生债务”类，数据集包含关于子类“联邦学生贷款服务”和“私人学生贷款”的示例。我们处理了一组80k 份投诉——从 2020 年 7 月到 2021 年 1 月提交的投诉。
值得注意的是，这个数据库并不是没有错误的。由于用户只能为每个投诉选择一个类别，因此人为错误总是会出现。有些投诉被错误分类，有些被任意分类(可能是关于类别 x 但也可能是类别 y ),有些似乎是根据文本中没有的信息进行分类的。请记住，机器学习模型将反映所提供的分类，即使它毫无意义。
以下面的投诉为例:
无法连接到 XXXX XXXX？另外，它两个月前还能用。
这被归类为“货币转移、虚拟货币或货币服务”，但我们不知道为什么。我们可以假设在匿名化过程中丢失了一些重要的信息——但我们不能确定。
或者拿这个抱怨:
他们非法将我标记为过期，并且没有纠正它。
后者被归类为“信用卡或预付卡”，但它也可能被归类为“债务催收”——也许更恰当。
2.实验
我们对运行两个实验感兴趣:一个代表通常在实验室阶段做的事情，另一个代表一旦一个模型投入生产会发生什么。对于实验室阶段，我们希望看到我们评估的每个算法的潜力，以了解它在完美条件下的表现。对于生产阶段，我们希望挑战数据转移的算法，并检查性能是否受到影响。我们将模型分为两类:数据驱动的方法——依赖于机器学习技术，只使用原始文本作为特征——和知识驱动的方法——依赖于为每个类创建人工启发。
对于本文中介绍的实验，我们决定使用 F1 分数来比较模型。这种方法提供了解决方案质量的指标，因为它同时考虑了精度和召回。这些是我们收集的发现:
表 1 —实验结果。作者图片
我们可以注意到，机器学习算法在处理数据转移时会经历更大的损失，而知识驱动的方法是最大限度地减少这种损失的方法。
2.1.实验室条件
实验室条件实验通过使用整个数据集并将其分成训练集和测试集来执行。从这个实验中得出的结果并不令人惊讶:更大的机器学习模型表现最好，其中变形金刚领先。其他数据驱动的模型仍然表现良好，这要归功于大量的训练示例。在这个阶段测试了另一个模型:expert.ai AutoML 结合了符号和子符号特征，可以被认为是一个混合算法。这个模型产生了有希望的结果，表现略低于罗伯塔-大。
我们还测试了一种知识驱动的方法: expert.ai 符号模型。这由一组人工管理的规则组成，创建于文本分析引擎之上。这个模型是在几天的工作中开发出来的。如果付出更多的努力，它本可以达到更好的性能，但是为了实验公平起见，每种方法都必须花费相同的时间。
2.2.生产条件
为了表示生产环境中会发生什么，我们在泛化任务上测试了我们的模型，插入了从训练集到测试集的数据转移。这些算法首先在选择的最少代表的子类上进行训练，然后在剩余的子类上进行测试——每个类至少有 50 个训练文本。例如，我们在“联邦学生贷款债务”上训练模型，但是在“债务收集”的其他子类上测试模型:
为了让事情变得更困难，我们还插入了一个少量训练约束:我们提供 1.4k 投诉进行训练，然后我们在 8k 投诉上进行测试。这里的是使用的数据集。强调算法可以让我们了解它们在现实世界中的可信度。
这导致了结果的逆转:变压器在这种情况下表现不佳，DistilBERT 的表现尤其差。表现最好的模型是 expert.ai Symbolic。如前所述，这个模型是由一组人类策划的规则组成的。让人类参与进来对归纳有很大帮助，因为人类已经拥有了关于世界的信息，而机器学习只能从提供的例子中学习。还有，expert.ai 技术本身有助于泛化。在开发规则时，可以查看 expert.ai 知识图，这是一个现成概念的大型集合，有组织且易于导航。
3.结论
看看泛化任务，我们可以注意到，一旦数据驱动的模型经历数据转移，它们会变得多么不可预测。在实验室中，数据驱动的方法非常有效——这并不奇怪。但是，当我们期望这种模型在类似于现实生活的情况下推广时，我们可以看到需要一个更有基础的理解。另一方面，知识驱动的方法更容易概括，因为人类知道当看到案例 X1、案例、【X3】、…、 Xn 时也是可以预期的。
在实验室中，我们也有机会测试混合动力 expert . ai AutoML——一种性能类似于变形金刚但更轻的模型。鉴于这些有希望的初步结果，我们应该继续探索数据驱动和知识驱动方法的组合。
非常感谢劳尔·奥尔特加和何塞·曼努埃尔·戈麦斯·佩雷斯，他们完成了这里收集的大部分实验。
你的 AI 可以有情感吗？
你有没有可能给你的人工智能编程来发展情绪？
“世界上最美好的东西是看不见的，也摸不着的。他们必须用心感受"
― 海伦·凯勒
像人类这样的智慧生物的一个基本特征是他们能够感受不同类型的想法、表达和感情。情感在动物和人类等生物的生活中起着不可或缺的作用。
没有情感，我们的生存状态可能会处于危险之中。我们可能会生活在社会耻辱和不安全感的威胁下，而不是生活在一个幸福和充满爱的世界里。
思考人类情感和智力的价值是浪费时间，因为没有它，我们将走在一个充满精神病患者和反社会者的星球上。
由于我们的科幻电影喜欢将人工智能描述为人类生存的祸根，以及将接管整个世界的东西，因此研究人工智能尚未被发现的这一方面是耐人寻味和令人着迷的。
人类的大脑是一个复杂的结构，很明显，这些项目是不可替代的。虽然深度学习和人工神经网络已经发展了多年，但它们只是受到了人脑的生物学启发。值得注意的是，人工神经网络不是也可能永远不会永久取代我们的人脑。
这些场景引出了几个有趣的问题，这些问题浮现在我们脑海深处。我们可能想要回答的一些看似熟悉但却很奇怪的问题包括这样的问题—
- AI 可以有情感吗？
- 有可能编程出这样的 AI 技术吗？
- 这个 AI 会对人类的存在造成潜在威胁吗？
你可能在某个时间点对这些令人困惑和有趣的问题感到疑惑。这篇文章的主要目的是提供一个更详细的方法来理解这些概念，并最终回答标题中的问题——“你的人工智能有情感吗？”
在我们开始讨论重要性这个话题之前，我强烈建议观众去看一下我以前写的一篇关于揭开人工智能神秘面纱的文章。它将帮助您更好地理解我们将在接下来的章节中讨论的各种主题。
探索情感分析
米 PHAM 在 Unsplash 上的照片
情感分析 (又称观点挖掘或情感 AI)是指利用自然语言处理、文本分析、计算语言学、生物特征识别等技术，对情感状态和主观信息进行系统的识别、提取、量化和研究。
情感分析在理解人工智能如何在特定场景下潜在工作背后的一些心理学方面发挥着至关重要的作用。仅举一个简单情感分析问题的快速工作示例，考虑以下任务—
“给定一个特定的陈述，你的情感分析 AI 程序需要确定下面的评论是积极的还是消极的陈述。对于以下上下文，可以忽略中性语句。
您通常用于这类任务的数据集可以是来自网站的评论(如亚马逊评论数据集)，您可以将一星和二星评级视为负面，将四星和五星评级视为正面。三星评级可以忽略不计，因为它们被视为中性评论。
不管你使用哪种机器学习或深度学习算法来处理这个问题陈述，有很大的概率，通过一个发展良好的模型，你可以完成这个任务。
像好的，不错的，开心的等积极的词。，都被认为是有助于情感分析的积极方面。这些词的更高使用率可以与更积极的方法相关联。
不好的、悲伤的、可怕的等否定词的用法。，被认为是有助于情感分析的负面因素。这些词的高使用率可能与一种更消极的方式相关。
好吧！所以看起来我们已经用这些分析方法达到了一个相当高的水平。一切似乎都与我们的现代机器学习和深度学习算法完美结合。
我们有先进的方法，如注意顺序到顺序模型，以及像 BERT 这样的转换器，用于解决复杂的问题陈述。
像 GPT-3 模型这样的例子可以自己生成整篇文章，看起来人工智能已经达到了现代发展的顶峰。
但是，不幸的是，故事并没有就此结束。人工智能仍然面临着一个相当大的问题。主要问题是缺乏人工智能识别语言语义的能力。
虽然预测型搜索在各自的目的上做得很好，但它们并没有真正理解单词或句子背后的实际含义。与人脑不同，神经网络在不理解实际语义的情况下识别句子中的模式。
如果您要删除停用词(包括 not)，这恰好是预测模型生成过程中的一个步骤，也可能会产生错误的分类。
我们可以使用许多方法来提高训练模型的效率，比如使用二元模型或三元模型。但是，不管怎样，训练是基于上下文，而不是真正的语义。
为了更详细地了解这个话题，我想让观众从下面提供的链接中查看两个基于下一个单词预测的项目和一个创新的聊天机器人。这些项目将帮助你更好地理解本文中的大部分内容。
人工智能中的情感分析
布鲁克·卡吉尔在 Unsplash 上的照片
在上一节中，我们的讨论主要集中在自然语言处理相关的问题和类似陈述的方法上。现在，我们将把注意力转移到肢体语言和人类的情感和倾向上。
虽然人类大脑可以方便地识别感觉或感觉，也可以理解其他生物如何感受，但在人工神经网络、深度学习和人工智能的情况下，这更是一个复杂的场景。
让我们考虑一些人工智能用于计算机视觉任务的例子，如面部识别、图像分割和情感或手势识别。这些是人工智能能够出色表现的常见用例。但是，让我们逐一分析这些任务，看看它们在现实世界中的表现如何。
深度学习中的人脸识别不断进化，达到了一个新的里程碑。随着现代技术的进步，我们可以用一张图像识别一张人脸，准确率接近 99.2%。
然而，即使有了这些快速的进步，也很难否认在这个特定的领域中存在某些缺点。我强烈推荐你看看我下面这篇关于人脸识别项目的文章，这篇文章更详细地介绍了这个概念。
像图像分割这样的任务，其中掩蔽图像的概念用于识别周围的各种物体，也可以在自动驾驶汽车中找到它们的用途。随着人工智能领域的快速发展，这些汽车被称为我们社会的未来。
最后，我们有情感识别。我最后一次检查 Kaggle 的结果时，对于七种情绪来说，执行这项任务所取得的最好成绩大约是 74%。人工智能在训练有素的模型上识别情绪的能力相当高。但是，在不久的将来可能会有某些改进。
认识到这些技术正在识别和验证这些情绪是至关重要的。然而，他们实际上并没有感受到这些，因为认可和表达是两个不同的方面。
尽管在能够识别众多表情或手势方面做了非凡的工作，但这些模型没有为自己表达任何东西的遗传能力。虽然在这一领域进行了明显的研究，但取得的结果仍不令人满意。
为了更深入地理解和直觉人类情感和手势背后的工作，我强烈建议观众看看下面的两部分系列，这将帮助你构建一个深度学习项目，从零开始完成以下任务。
AI 可以有情感吗？
我们在人工智能领域取得了重大进展。随着每天的快速进步，还会有持续的发展。
然而，类似于人工通用智能，我们距离实现将情感翻译成 AI 的目标似乎还相当遥远。
虽然我们尚未达到可以训练我们的人工智能模型表达情感的水平，这可能有点令人沮丧，但值得注意的是，我们迄今为止取得的进展在很大程度上是相当可观和显著的。
目前，人工智能还不可能复制人类的情感。然而，的研究表明人工智能有可能模仿特定的表达形式。
现在，让我们试着弄清楚获得这些情绪是否会影响 AI 对人类的行为？简单来说，会不会是对人类生存的潜在危险？
这个问题很难找到一个直截了当的答案。但是，情感人工智能有许多好处。它可能会改变商业格局，为世界提供一个完全不同的氛围。
它可以在许多方面造福于人类，为有需要的人提供社会安慰、理解和表达情感，以及大量的工业应用。
威胁未知，对未知的恐惧最大。虽然表达情感对人类来说自然是一件好事，而且它最终构成了我们作为一个生命体的本质，但很难弄清楚人工智能的要求是什么，以及事情究竟会如何发展。
只有时间能回答这些耐人寻味的问题。不管怎样，推测在不久的将来可以达到的辉煌是很有趣的。随着人工智能和神经科学领域的快速发展，我对我们所有人的未来感到兴奋。
结论:
泰勒·史密斯在 Unsplash 上的照片
“对于感觉的人来说，世界是一出悲剧，但对于思考的人来说，世界是一出喜剧.”
― 霍勒斯沃波尔
有情感的人工智能是一个对未来将要发生的事情进行推测和预测的绝妙话题。在这个主题中有如此多的领域，我真的很兴奋看到未来等待着我。
在这篇文章中，我们发现人工智能在情感方面的峰值潜力尚未实现。虽然人工智能可以在一定程度上模仿人类的情感，但它还没有完全复制人类的情感。
我很想听听你对这个问题的看法。你可以就这个话题发表你的看法和意见。此外，你对人工通用智能和情感人工智能在不久的将来的崛起感到兴奋吗？
如果你对这篇文章中提到的各点有任何疑问，请在下面的评论中告诉我。我会尽快给你回复。
看看我的其他一些文章，你可能会喜欢读！
</5-reasons-why-you-should-code-daily-as-a-data-scientist-fa7fc6dc92c4> </10-best-free-websites-to-learn-more-about-data-science-and-machine-learning-f2c6d7387b8d>
谢谢你们坚持到最后。我希望你们喜欢阅读这篇文章。我希望你们都有美好的一天！
典范相关分析
对典型相关分析的全面概述，以及用 R 和 Python 编写的示例的完整演练
典型相关分析——照片由 Alex Presa 在 Unsplash 上拍摄
典范相关分析
在本文中，您将了解到关于典型相关分析的所有知识。典型相关分析是一种多元统计技术，允许您分析两个数据集之间的相关性。
典型相关分析可用于以两种方式对两个数据集之间的相关性进行建模:
- 关注依赖关系，并以类似回归的方式对两个数据集建模:数据集 y 作为数据集 x 的函数。
- 侧重于探索两个数据集之间的关系，而不将任何数据集作为因变量或自变量。在这种情况下，您可以将其与 PCA 或因子分析等方法进行比较。
进行典型相关分析时，需要理解两个核心概念:
- 标准变量
- 典型相关
标准变量
典型相关分析的第一个中心概念是典型变量的概念。典型相关分析的目标是模拟两个数据集之间的关系。
当然，数据集很难一次建模，因为它们由许多变量组成。分析一个数据集中所有变量之间的相关性已经是一个挑战，所以现在任务更加复杂，因为我们必须区分变量之间的相关性和两个数据集之间的相关性。
为了简化这项任务，模型将识别规范变量。规范变量是数据集之一的变量的线性组合。由于典型相关分析关注两个数据集之间的相关性，您将定义对典型变量:一个典型变量来自左侧数据集，另一个典型变量来自右侧数据集。
如果您的两个数据集中有不同数量的变量，那么您可以拥有与最小数据集中的变量一样多的规范变量对。
规范变量将由模型定义。它们被选为具有最大可能相关性的(原始)变量的两个线性组合(每个数据集中一个)。我们将在后面看到如何使用 R 或 Python 来找到它们。
典型相关
一旦定义了规范变量，就可以通过查看规范变量之间的相关性来继续分析。由于这种相关性是在典型变量之间测量的，我们就简单地称之为典型相关。
我们将很快开始解释一个例子。请记住，我们必须分析两组重要的指标，以了解我们两个数据集之间的相关性:
- 解读典型相关:数据集 1 中的每个典型变量与其在数据集 2 中的对应变量的相关程度如何？
- 解读规范变量:每个规范变量代表哪些原始变量？
典型相关分析与其他方法
现在你已经理解了典型相关分析的目标，让我们讨论一下该方法与密切相关的方法之间的联系和区别。
典型相关分析与主成分分析
第一个有用的比较是在典型相关分析和主成分分析 (PCA)之间。PCA 是一种在数据集内寻找线性组合(称为主成分)的方法，其目标是最大化由这些主成分解释的变化量。
PCA 侧重于在一个数据集的中寻找引起最大方差的线性组合，而典型相关分析侧重于在两个数据集中寻找引起最大相关性的线性组合。****
典型相关分析与多元多元回归
第二个有趣的比较是典型相关分析和多元多元回归之间的比较。多元多元回归是多元回归的一个变种，其中有多个因变量，而在标准多元回归中，只有一个因变量。
多元多元回归的目标与典型相关分析的目标非常相似:在两者中，您都试图找到允许您对两个数据集(一个相关数据集和一个独立数据集)之间的相关性进行建模的线性组合。
2016 年，利大学的加里·卢茨和坦尼娅·埃克特已经成功证明了这两种方法的一部分在数学上的等价性。以下是他们文章中的一段引文:
多元多元回归和典型相关分析之间的相似性在文献中没有得到一致的认可。本文表明，虽然这两种分析的目标似乎不同，但分析本身在数学上是等价的。在综合显著性检验、变量加权方案和降维分析方面，将判别分析纳入事后调查的多元多元回归分析将产生与典型相关分析相同的结果。
这个发现并不一定意味着其中一个方法是多余的，但它仍然是有趣的。
典型相关分析示例
现在让我们介绍一个典型相关分析的例子。我们将看到一组关于工作表现的模拟数据。在数据集中，有 9 个变量。
相关数据集包含三个变量，每个变量都是工作绩效的备选衡量指标:
- 客户满意度:你的主要客户给你的满意度评分，在 1 到 100 分之间
- 超级评估员:你的上司对你工作表现的评估，介于 1 到 100 分之间
- ProjCompl :你的项目成功交付的百分比
独立数据包含六个变量，其中两个变量是社会技能的测量值:
- psycht test 1:0 分(差)到 100 分(好)
- 心理测试 2 :得分在 0(差)到 100(好)之间
它在智力技能上也有两个变量:
- YrsEdu :接受高等教育的年数
- 智商:智商测试得分
它有两个关于动机的变量:
- HrsTrain :培训花费的小时数
- HrsWrk :一周工作的平均小时数
此分析的目标是应用典型相关分析，并查看这三个独立的概念是否也被模型识别为典型变量，或者是否有更有趣的典型变量需要定义。我们还将检查哪些原始变量会影响工作绩效。
如果你感兴趣，你可以将结果与这篇关于结构方程建模的文章进行比较，这篇文章探索了相同的假设。
R 中的典型相关分析
现在对于 R 中的典型相关分析，让我们从导入数据开始。我已经把它们上传到了 AWS 上的一个 S3 桶中，这样你就可以下载并导入它们，只需一行代码:
R-导入数据中的典型相关分析
下一步是分离 X 变量和 Y 变量。然后我们可以使用 r 中内置的cancor函数来拟合模型。
R-拟合模型中的典型相关分析
模型的输出将是所有系数和参数的列表。我们将在下一步中使用其中一些，其他的将在我们使用的函数中隐式使用。至少拥有所有这些参数是件好事，以防我们需要它们。
R 模型输出中的典型相关分析
典型相关分析有几个维度？
现在让我们看一个图，它允许你决定你应该包括多少个维度。维度归结为一对(一个 x 和一个 y)规范变量。因为我们在 Y 轴上只有 3 个变量，我们不可能有超过 3 对变量，所以是三维的。
下图显示了每个维度对之间的相关性:
R 中的典型相关分析——维数的确定
R —柱状图中确定维数的典型相关分析
前两对规范变量有很强的相关性。第三个虽然还是比较高，但是有点低。对于本分析的其余部分，我们将使用前两个维度。
R 中的典型相关图
我们现在将进入典型相关分析的本质。分析的目标是了解这两个数据集是如何相互关联的。我们想了解工作表现的现象。
我们将使用一个名为 CCA 的软件包，它具有绘制典型相关分析结果的强大功能。我们还需要使用 cc 函数重新调整模型，以便能够进行绘图。这可以通过以下方式完成:
R-绘制变量图中的典型相关分析
R-绘制变量图中的典型相关分析
对于我们的分析来说，右边的情节不是很有趣。它显示了我们分析中的个人，但我们只是随机选择了一些人，所以这并不是很有用。
然而，左边的图表给出了我们想要通过分析获得的确切信息。该图显示了每个原始变量的方向，在轴上显示了两个维度。我们可以使用图上的接近度来理解两个数据集的变量之间的关系！
项目完成后的总结
维度 1 显示在 x 轴上，这意味着在维度 1 上得分高的变量将位于图表的右侧，而在维度 1 上得分低的变量将位于左侧。维度 1 是最重要的维度(从定义上来说)，那么我们来看看能从中看出什么。
我们清楚地看到最左边的一组四个变量:HrsWrk，HrsTrnn，SuperSat，ProjCompl。特别是 HrsWrk 和 ProjCompl 完全在一个地方。我们可以得出结论，项目的完成与工作和培训花费的时间密切相关:这是一门非常有趣的学问！
主管满意的结论
SuperSat 也非常接近这组变量。第一个有趣的发现是超级卫星也与工作和训练的时间有很大关系。然而，典型相关分析的优势在于，我们还可以看到工作绩效变量之间的相互关系。显然，我们现在可以得出结论,主管满意度也与项目完成密切相关！
关于客户满意度的结论
非常有趣的是，客户满意度位于图表的其他地方。它在下方，表明它被维度 2 覆盖。我们可以得出结论为了满足客户，我们需要不同于完成项目和取悦你的主管所需的行为。
为了让你的客户满意，社交更加重要！这可以从社交技能的两个心理测验分数与客户满意度密切相关的事实中得出结论。这也是非常有用的见解！
关于智商和教育年限的结论
基于智商和智力技能处于中间的事实，我们可以得出结论，它们不在第一和第二个维度中。逻辑上的原因是他们在第三维度。
为了检查这一点，我们将需要创建与之前相同的图形，但是使用维度 3。这产生了两个图:一个在维度 1 和 3 之间，另一个在维度 2 和 3 之间。您可以这样做:
R——绘制第三维的典型相关分析
R——绘制第三维的典型相关分析
R——绘制第三维的典型相关分析
R——绘制第三维的典型相关分析
有趣的是，我们没有看到智商和受教育年限出现在维度 3 的极端上！我们已经检查了所有三个维度，所以这意味着智商和受教育年限被简单地估计为对工作表现没有太大影响！我们分析的第三个结论也很有趣。
Python 中的典型相关分析
对于那些喜欢 Python 的人，让我们也做一个 Python 实现。当然，结论是相同的，所以我不会重复完整的实现。
在 Python 中，您可以使用以下代码直接从 AWS 上的我的 S3 桶中读取 CSV:
Python 中的典型相关分析—导入数据
下一步是在 X 和 Y 变量之间分割数据。然后，您可以从scikit-learn.cross_decomposition实例化 CCA 模型。最后，使用拟合方法来拟合模型:
Python 中的典型相关分析—拟合模型
现在您已经在my_cca对象中有了模型，您可以用特定的方法访问许多系数。几个例子:
- 使用
my_cca.x_weights_和my_cca.y_weights_获得重量 - 使用
my_cca.x_loadings_和my_cca.y_loadings_获得载荷
现在，分析中有趣的部分是投射到维度上的变量图。这个图在 Python 中没有预构建的实现，所以我们需要使用旋转系数来构建它。您可以使用以下代码来实现这一点:
Python 中的典型相关分析—绘制结果
Python 中的典型相关分析—绘制结果
这个图看起来和 r 中显示的有点不一样，原因是**旋转不一样。**实际上，模型并不关心图的实际旋转，只关心变量之间的相关性。你可以旋转整个东西，得到和 R 输出几乎一样的图形。
R 和 Python 输出的比较
如果我们看看这个解释，我们会得到非常相似的结论:
- ClientSat 仍然与 PsychTest1 和 PsychTest2 密切相关
- 智商和受教育年限仍然无关紧要
- 工作小时数仍然与项目完成密切相关
然而，我们也看到了一些差异:
- 花在训练上的时间在 Python 中并不重要，而在 R 中却很重要
- 主管的满意度与项目完成的相关性似乎比在 R
这不一定是问题。当使用不同的代码实现时，经常会出现略微不同的结果。有两个分析其实也没那么糟糕。它允许我们确认分析之间的结论，并且可以增加两者之间共享的结论的有效性。
结论
总之:
- 本文向您展示了如何使用典型相关分析来分析两个数据集之间的相关性。
- 在关于工作绩效的例子中，您已经看到能够使用典型相关分析来获得有趣的结论。
- 您已经看到了如何在实践中使用 R 和 Python 实现来应用典型相关分析。
我希望这篇文章对你有用。不要犹豫，继续关注更多的数学、统计和数据内容！
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
