ai安全——应试准备(1)

最新推荐文章于 2024-07-19 08:37:45 发布

2401_84544914

最新推荐文章于 2024-07-19 08:37:45 发布

阅读量617

点赞数 24

分类专栏： 2024年程序员学习文章标签：网络安全 web安全面试

本文链接：https://blog.csdn.net/2401_84544914/article/details/138936799

版权

2024年程序员学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！

王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。

对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！

【完整版领取方式在文末！！】

93道网络安全面试题

需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）

内容实在太多，不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料，给那些想学习网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

1️⃣零基础入门

① 学习路线

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

AI 模型安全是指 AI 模型面临的所有安全威胁，包括 AI 模型在训练与运行阶段遭受到来自攻击者的功能破坏威胁，以及由于 AI 模型自身鲁棒性欠缺所引起的安全威胁。

1）训练完整性威胁，攻击者通过对训练数据进行修改，对模型注入隐藏的恶意行为。训练完整性威胁破坏了 AI 模型的完整性，该威胁主要包括传统投毒攻击和后门攻击；

2）测试完整性威胁，攻击者通过对输入的测试样本进行恶意修改，从而达到欺骗 AI 模型的目的，测试完整性威胁主要为对抗样本攻击

3）鲁棒性欠缺威胁，该问题并非来自于恶意攻击，而是来源于 AI 模型结构复杂、缺乏可解释性，在面对复杂的现实场景时可能会产生不可预计的输出。

二、ai数据安全

数据安全问题是指 AI 技术所使用的训练、测试数据和模型参数数据被攻击者窃取。针对 AI 技术使用的数据，攻击者可以通过 AI 模型构建和使用过程中产生的信息在一定程度上窃取 AI 模型的数据，主要通过两种方式来进行攻击：

1）基于模型的输出结果，模型的输出结果隐含着训练/测试数据的相关属性。

2）基于模型训练产生的梯度（参数），该问题主要存在于模型的分布式训练中，多个模型训练方之间交换的模型参数的梯度也可被用于窃取训练数据。

三、ai系统安全

承载 AI 技术的应用系统主要包括 AI 技术使用的基础**物理设备和软件架构（pytorch等），**是 AI 模型中数据收集存储、执行算法、上线运行等所有功能的基础。

对抗样本攻击

研究者还发现在输入数据上添加少量精心构造的人类无法识别的**“扰动”，可以使 AI 模型输出错误的预测结果。这种添加扰动的输入数据通常被称为对抗样本（Adversarial Example）**。在许多安全相关的应用场景中，对抗样本攻击会引起严重的安全隐患。属于ai模型安全。

以自动驾驶为例，攻击者可以在路牌上粘贴对抗样本扰动图案，使得自动驾驶系统错误地将“停止”路牌识别为“限速”路牌。这类攻击可以成功地欺骗特斯拉等自动驾驶车辆中的路标识别系统，使其作出错误的驾驶决策判断，导致严重的交通事故。

隐私泄露

研究者发现 AI 技术在使用过程中产生的计算信息可能会造成隐私数据泄露，例如攻击者可以在不接触隐私数据的情况下利用模型输出结果、模型梯度更新等信息来间接获取用户隐私数据。在实际应用中，这类信息窃取威胁会导致严重的隐私泄露。属于ai数据安全。

例如：生物核身识别模型**（如人脸识别）返回的结果向量可以被用于训练生成模型**，从而恢复如用户头像等训练数据中的敏感信息（原始输入数据）。攻击者甚至还可以通过输出结果窃取 AI 模型的参数，对模型拥有者造成严重的经济损害。在这种情况下，攻击者可能利用模型的输出来训练另一个生成模型，这个生成模型旨在从结果向量中重建或近似原始的输入数据（如用户的头像）。这种攻击通常被称为模型逆向攻击（Model Inversion Attack）。

对抗样本与对抗训练

这里详细介绍一下对抗样本相关的知识

对抗样本：对抗样本是指经过微小、精心设计的修改（通常是不可察觉的）的输入数据，旨在欺骗机器学习模型，使其做出错误的预测。这些修改通常是通过在原始输入上添加人类难以察觉的噪声来实现的。对抗样本的存在揭示了深度学习模型在某些方面的脆弱性，尤其是在图像识别等领域。
对抗攻击：对抗攻击是指利用对抗样本来攻击机器学习模型的过程。攻击者可能通过这种方法来规避或误导模型的行为，例如，在自动驾驶系统中，通过在路标上贴上对抗性贴纸，可能导致系统错误地识别路标。研究对抗攻击有助于开发更安全的机器学习系统。
对抗防御：对抗防御是指采取措施来保护机器学习模型免受对抗攻击的技术和方法。其中包括对抗训练技术。
对抗训练：对抗训练是一种提高机器学习模型鲁棒性的技术。它利用对抗攻击算法生成对抗样本对数据集进行补充，弥补模型薄弱的部分，从而增强模型面对恶意攻击时的****鲁棒性。对抗训练可以使模型在面对潜在的对抗攻击时更加稳定和可靠。

生成对抗网络（GAN）

生成器（Generator）：

生成器的任务是生成看起来像真实数据的新数据。
它通常是一个深度神经网络，输入是一个随机噪声向量（通常是从高斯分布中抽取的），输出是一个数据点（例如图像）。
生成器的目标是欺骗判别器，使其认为生成器产生的数据是真实的。

判别器（Discriminator）：

判别器的任务是区分输入数据是来自真实数据集还是生成器生成的假数据。
它也是一个神经网络，接收真实数据或生成数据作为输入，并输出一个概率值，表示输入数据为真实数据的可能性。
判别器通过最大化其能够正确分类真实数据和生成数据的能力来提高性能。

对抗过程：

生成器和判别器之间的对抗过程可以被看作是一个最小化最大化问题（minimax game）。
生成器试图最小化判别器正确分类的准确性，而判别器试图最大化其准确性。
通过这种对抗训练，生成器学习如何生成越来越真实的数据，而判别器学习如何更好地区分真假数据。

GAN的训练：

训练GAN通常涉及交替训练生成器和判别器。
首先，固定生成器的参数，训练判别器来区分真实数据和生成（假）数据。
然后，固定判别器的参数，训练生成器来生成能够欺骗判别器的数据。
这个过程重复进行，直到生成器生成的数据足够真实，或者达到预定的训练轮数。
判别器训练：
- 首先，从真实数据集中抽取一批真实样本。
- 使用生成器从随机噪声中生成一批假样本。
- 将真实样本和假样本混合在一起，并使用判别器进行分类。
- 根据判别器的分类结果，使用反向传播算法更新判别器的参数，以提高其区分真实和假样本的能力。
生成器训练：
- 从随机噪声中生成一批假样本。
- 使用判别器对这些假样本进行分类。
- 根据判别器的分类结果，使用反向传播算法更新生成器的参数，以提高其生成看起来像真实数据的样本的能力。