《人工智能安全》课程总体结构

1 课程内容

  • 人工智能安全观:人工智能安全问题、安全属性、技术体系等基本问题进行了归纳整理。
  • 人工智能安全的主要数据处理方法,即非平衡数据分类、噪声数据处理和小样本学习。
  • 人工智能技术赋能网络空间安全攻击与防御:三个典型实例及攻击图的角度介绍典型人工智能方法在攻击与防御中的应用。
  • 机器学习模型的安全:从攻击者、对抗攻击理论与方法、典型对抗攻击方法、隐私安全与保护、聚类算法的安全性以及对抗攻击防御方法进行了介绍。
  • 机器学习平台的安全
  • 基于天池AI实训平台的若干案例和实验(Python版)

2 课程内容之间的关系

在这里插入图片描述

3 目录结构

  1. 概述
  2. 非平衡数据处理问题
  3. 噪声数据处理
  4. 小样本学习方法
  5. 网络入侵检测
  6. SQL注入检测
  7. 虚假新闻检测
  8. 攻击与防御的智能技术
  9. 机器学习系统的攻击者
  10. 对抗攻击的理论与方法
  11. 典型对抗攻击方法
  12. 隐私保护
    12-1. 机器学习系统隐私保护技术
    12-2. 大数据隐私攻击与保护
    12-3. 隐私计算架构
    12-4. 典型应用中的隐私保护
  13. 聚类模型的攻击
  14. 对抗攻击的防御方法
  15. 机器学习平台的安全
  16. 阿里云AI学习平台与实验

4 参考书籍

《人工智能安全》(清华大学出版社,2022)复旦大学曾剑平

5 讨论

5.1 对抗攻击

  1. 【隐私保护机器学习】https://www.bilibili.com/video/BV1pG4y1t7t5?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  2. 【AI安全-对抗攻击与防御】https://www.bilibili.com/video/BV1Z14y177cF?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  3. 【针对黑盒模型的高效无数据迁移攻击】https://www.bilibili.com/video/BV1pi4y1U7xD?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  4. 【持续学习】https://www.bilibili.com/video/BV1wY411j7mQ?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  5. 【面向深度学习的对抗攻击技术介绍【CV-对抗技术】Part.1对抗攻击定义+类型】https://www.bilibili.com/video/BV1JN411P7ro?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  6. 【清华大学学术报告 针对机器学习模型的攻击】https://www.bilibili.com/video/BV18P411Z7cY?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  7. 【【AI 公开课】 AI vs AI 人脸识别对抗攻击专题公开课:共6讲】https://www.bilibili.com/video/BV1y64y1B722?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb

5.2 联邦学习

  1. 【面向时空异构数据的联邦学习】https://www.bilibili.com/video/BV1BT411s7xD?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  2. 【联邦学习的核心挑战及对策】https://www.bilibili.com/video/BV1Fv4y137W6?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  3. 【联邦数据与智慧城市】https://www.bilibili.com/video/BV1AF411g7cM?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  4. 【Vision-and-Language 中的联邦学习】https://www.bilibili.com/video/BV1M54y1r7rm?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  5. 【联邦学习鲁棒性】https://www.bilibili.com/video/BV1jZ4y1V7gT?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb

5.3 异常检测

  1. 【网络与通信丨用于检测互联网流量异常的机器学习——加拿大西蒙弗雷泽大学Ljiljana Trajkovic教授】https://www.bilibili.com/video/BV1bN4y1e7fr?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  2. 【【CSIG云讲堂】周瑜-零样本工业异常检测方法与应用】https://www.bilibili.com/video/BV1Ym29YYEqa?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  3. 【NDSS 2023 复现 利用流交互图分析实时检测未知加密恶意流量】https://www.bilibili.com/video/BV1zj411e7xC?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  4. 【【 李宏毅机器学习:异常检测 】Anomaly Detection(合辑)(中文)】https://www.bilibili.com/video/BV1mb411q7b5?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
  5. 【异常检测算法详解:共10讲】https://www.bilibili.com/video/BV1rq4y1C7R3?vd_source=ebd4c858fcb4665b05fa5ce4a799a9cb
人工智能安全 现在有很多技术可以欺骗人工智能, 也有很多人工智能技术被用来欺 骗人。在人工智能(AI)时代,安全问题不容忽视。 近几年,人工智能技术在很多领域都取得了初步的成功,无论是图像 分类、视频监控领域的目标跟踪,还是自动驾驶、人脸识别、围棋等 方面, 都取得了非常好的进展。 那么, 人工智能技术到底安全安全? 事实上,目前的人工智能技术还存在很多问题。 人工智能并不安全 现在有很多技术可以欺骗人工智能,如在图片上加入一些对抗干扰。 所谓对抗干扰,就是针对智能判别式模型的缺陷,设计算法精心构造 与正常样本差异极小、能使模型错误识别的样本。如图 1 所示,本来 是一幅手枪的图片, 如果加入一些对抗干扰, 识别结果就会产生错误, 模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子,就能 使人在视频监控系统中"隐身"(见图 2)。在自动驾驶场景下,如果 对限速标识牌加一些扰动,就可以误导自动驾驶系统识别成 "Stop"(见图 3),显然这在交通上会引起很大的安全隐患。另一方 面,人工智能的一些技术现在正在被滥用来欺骗人。例如,利用人工 智能生成虚假内容,包括换脸视频、虚假新闻、虚假人脸、虚拟社交 账户等。 图 1 被暴恐检测系统识别成正常图片 图 2 在智能监控下隐身 图 3 误导自动驾驶系统 不只在图片和视频领域,在语音识别领域也存在这样的安全隐患。例 如,在语音中任意加入非常微小的干扰,语音识别系统也可能会把这 段语音识别错。同样,在文本识别领域,只需要改变一个字母就可以 使文本内容被错误分类。 除了对抗攻击这种攻击类型外,还有一种叫后门攻击的攻击类型。后 门攻击是指向智能识别系统的训练数据安插后门, 使其对特定信号敏 感,并诱导其产生攻击者指定的错误行为。例如,我们在对机器进行 训练时,在某一类的某些样本中插入一个后门模式,如给人的图像加 上特定的眼镜作为后门, 用一些训练上的技巧让机器人学习到眼镜与 某个判断结果(如特定的一个名人)的关联。训练结束后,这个模型针 对这样一个人还是能够做出正确的识别, 但如果输入另一个人的图片, 让他戴上特定的眼镜,他就会被识别成前面那个人。训练的时候,模 型里留了一个后门,这同样也是安全隐患。 除了对抗样本、后门外,如果 AI 技术被滥用,还可能会形成一些新 的安全隐患。例如,生成假的内容,但这不全都是人工智能生成的, 也有人为生成的。此前,《深圳特区报》报道了深圳最美女孩给残疾 乞丐喂饭,感动路人,人民网、新华社各大媒体都有报道。后来,人 们深入挖掘,发现这个新闻是人为制造的。现在社交网络上有很多这 样的例子,很多所谓的新闻其实是不真实的。一方面,人工智能可以 发挥重要作用,可以检测新闻的真假;另一方面,人工智能也可以用 来生成虚假内容,用智能算法生成一个根本不存在的人脸。 用人工智能技术生成虚假视频, 尤其是使用视频换脸生成某个特定人 的视频,有可能对社会稳定甚至国家安全造成威胁。例如,模仿领导 人讲话可能就会欺骗社会大众。因此,生成技术是否需要一些鉴别手 段或者相应的管理规范,这也是亟须探讨的。例如,生成虚假人脸, 建立虚假的社交账户,让它与很多真实的人建立关联关系,甚至形成 一些自动对话,看起来好像是一个真实人的账号,实际上完全是虚拟 生成的。这样的情况该如何管理还需要我们进一步探索和研究。 人工智能安全隐患的技术剖析 针对 AI 的安全隐患,要找到防御的方法,首先要了解产生安全隐患 的技术。以对抗样本生成为例,其主要分为 2 类:一类是白盒场景下 对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型 参数完全已知,可以访问模型中所有的参数,这个情况下攻击就会变 得相对容易一些,只需要评估信息变化的方向对模型输出的影响,找 到灵敏度最高的方向,相应地做出一些扰动干扰,就可以完成对模型 的攻击。黑盒场景下攻击则相对较难,大部分实际情况下都是黑盒场 景,我们依然可以对模型远程访问,输入样本,拿到检测结果,但无 法获得模型里的参数。 现阶段的黑盒攻击可大致分为 3 类。 第一类是基于迁移性的攻击方法, 攻击者可以利用目标模型的输入信息和输出信息, 训练出一个替换模 型模拟目标模型的决策边界, 并在替换模型中利用白盒攻击方法生成 对抗样本,最后利用对抗样本的迁移性完成对目标模型的攻击。第二 类是基于梯度估计的攻击方法, 攻击者可以利用有限差分以及自然进 化策略等方式来估计梯度信息, 同时结合白盒攻击方法生成对抗样本。 在自然进化策略中, 攻击者可以以多个随机分布的单位向量作为搜索 方向,并在这些搜索方向下最大化对抗目标的期望值。第三类是基于 决策边界的攻击方法,通过启发式搜索策略搜索决策边界,再沿决策 边界不断搜索距离原样本更近的对抗样本。 有攻击就有防御,针对对抗样本的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HenrySmale

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值