机器学习是安全？还是威胁？

机器学习算法被广泛应用在网络空间安全领域，目前用于识别恶意软件、恶意网络行为，减少警报数量。然而，机器学习的专家警告，这些算法可能会被攻击者颠覆。

1. 2021年一篇研究论文中，研究人员发现神经网络的冗余特性可以让攻击者将数据隐藏在一个普通的网络神经文件中，占用文件大小的20%，而不会显著影响模型的性能。
2. 2019年发表的一篇研究论文表明，受到入侵的训练服务可以在神经网络中创建一个后门，并持续存在，即使该神经网络被用于另一个任务的的训练。在预训练被用于网络空间安全领域，这种影响会变得更大。

这两篇论文显示了最直接、最可能的威胁是：窃取或修改数据。因为当人们把机密信息给到机器，以进行机器学习时，敏感数据通常可以从ML系统中恢复，这种系统往往以不安全的方式运行。当机器学习系统的查询被暴露时，返回的结果通常就会暴露。这就是机器学习一个非常重要但却被忽视了的问题，“数据非常重要”。但在网络安全行业，人工智能和机器学习已成为营销必备的功能，开发人员专注于利用人工智能技术创造新的用途，而忽视了人工智能本身的安全性。

两篇论文地址：

https://arxiv.org/pdf/2107.08590.pdf

https://arxiv.org/pdf/1708.06733.pdf