在网络安全方面，人工智能是如何发挥作用的？

全民AI的时代，很多学科都开始和人工智能挂钩了，网络安全自然也不例外。

最近几年，人工智能是热度很高的一个话题。AlphaGo的横空出世，以及紧接着其与李世石的世纪人机大战，可以说是人工智能在公众视野中的最后一个引爆点。

自此之后，越来越多的人工智能产品开始出现在公众视野中，可谓是眼花缭乱，给人的感觉是人工智能遍地开花。

近些年来，基于人工智能的产品更是推陈出新，遍地都是。

包括围棋和象棋等在内的各个棋牌类竞技游戏相继被人工智能攻破；微软搜索开始推出了自己的人工智能产品小冰；百度也开始用码农人肉测试自己的无人车了；Style Transfer技术生成了各种千奇百怪的艺术图片；计算机视觉技术开始进入普通人的生活，同时也接入了如病例分析、医疗影像诊断等医学领域，并且取得了不俗的成果。

无论人们接不接受，都不能改变人工智能正在迅速渗透进我们日常生活的这个现实。

从上面的表述中也可以看出，在机器学习领域，大多数的实用方向都指向了图像识别、广告推荐和个性化画像等，也有人用“黄赌毒”来形容目前AI的落地领域。

而现如今，人工智能在网络安全领域确实有了很多的应用。

我之前写过的回答，有很多就已经涉及到了AI和网络安全相结合的内容，如：

深度学习在信息安全的应用：

机器学习与网络安全

1. 入侵检测
2. 恶意软件
3. 数据收集
4. 漏洞分析/逆向
5. 匿名/隐私/审查
6. 数据挖掘
7. APT与网络犯罪
8. CND/CNA/CNE/CNO
9. 深度学习与网络安全

机器学习在web方向的工作：

检测web攻击

• 用递归神经网络检测WEB攻击
• Web安全检测中机器学习的经验之谈
• Web日志安全分析系统实践
• 干货 | 机器学习在web攻击检测中的应用实践
• 基于HMM的web异常参数检测
• 基于机器学习的攻击检测
• 使用Seq2Seq自动编码器检测Web攻击
• Web安全检测中机器学习的经验之谈
• 学点算法搞安全之HMM
• 使用Seq2Seq自动编码器检测Web攻击
• 基于HMM的web异常参数检测
• 数据科学在Web威胁感知中的应用

Web攻击分类

• 基于机器学习的WEB攻击分类检测模型
• 基于机器学习的攻击检测系统

WAF建设

• 从免费的WEB应用防火墙hihttps谈机器学习之生成对抗规则过程
• 基于机器学习的web应用防火墙
• 门神WAF众测总结
• WAF建设运营及AI应用实践
• AI in WAF | 腾讯云网站管家 WAF AI 引擎实践

恶意url检测

• [URLNet：通过深度学习学习URL表示以进行恶意URL检测
• 用机器学习玩转恶意URL 检测
• 使用机器学习来检测恶意URL
• 网络钓鱼URL分类
• 基于机器学习的web异常检测
• 基于大数据和机器学习的Web异常参数检测系统Demo实现
• LSTM识别恶意HTTP请求
• 基于URL异常检测的机器学习模型mini部署
• 我的AI安全检测学习笔记（一）
• A Deep Learning Based Online Malicious URL and DNS Detection Scheme
• POSTER: A PU Learning based System for Potential Malicious URL Detection
• 基于PU-Learning的恶意URL检测

Webshell检测

• [基于机器学习的分布式webshell检测系统-特征工程（1）]
• [兜哥基于机器学习的 Webshell 发现技术探索]
• [深度学习PHP webshell查杀引擎demo]
• [使用机器学习识别WebShell]
• [基于机器学习的分布式Webshell检测系统]
• [基于机器学习的Webshell发现技术探索]
• [刘焱： Webshell 发现技术实战解析]
• [安普诺张涛：再谈webshell检测]
• [基于机器学习的WebShell检测方法与实现(上)]
• [初探机器学习检测PHP Webshell]

SQL

• [三种特征向量对深度学习攻击检测的影响]

XSS

• [机器学习识别XSS实践]
• [使用深度学习检测XSS]
• [使用深度学习检测XSS(续)]

弱口令

• [利用机器学习和规则实现弱口令检测]

DDOS

• [基于KDDCUP 99数据集预测DDoS攻击]
• [基于谱分析与统计机器学习的DDoS攻击检测技术研究]
• [基于机器学习的分布式拒绝服务攻击检测方法研究]
• [DDoS Attacks Using Hidden Markov Models and Cooperative ReinforcementLearning*]

DNS&DGA检测

• [使用CNN检测DNS隧道]
• [探秘-基于机器学习的DNS隐蔽隧道检测方法与实现]
• [DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测]
• [DataCon 2019: 1st place solution of malicious DNS traffic & DGA analysis]
• [DataCon 9102: DNS Analysis]
• [Datacon DNS攻击流量识别 内测笔记]
• [机器学习实践-DGA检测]
• [使用生成对抗网络(GAN)生成DGA]
• [使用fasttext进行DGA检测]
• [机器学习实践-DGA检测]
• [使用深度学习检测DGA]
• [机器学习与威胁情报的融合：一种基于AI检测恶意域名的方法]

恶意流量检测

• [利用机器学习检测HTTP恶意外连流量]
• [一篇报告了解国内首个针对加密流量的检测引擎]
• [恶意软件加密通信概要分析]
• [火眼金睛：利用机器学习识别加密流量中的恶意软件]思科在加密流量检测中的检测方案
• [基于机器学习的恶意软件加密流量检测研究分享 斗象科技]
• [特征工程之加密流量安全检测]

思考篇

• [为什么机器学习在安全、风控领域频频遇冷?]
• [如何在安全风控中评估和量化机器学习有效性？]
• [在网络安全领域应用机器学习的困难和对策？]
• [安全智能应用的一些迷思]
• [机器学习在安全攻防场景的应用与分析]
• [从安全视角对机器学习的部分思考]
• [如何看待兼修网络安全和人工智能?]

人工智能与安全领域：
1.网络攻击
1.1 钓鱼攻击
1.2 恶意软件样本生成（GAN）
2.网络防御
2.1 漏洞分析
2.2 提高恶意检测器效果

我认为，不是需不需要结合，或者有哪些方面容易和AI相结合来发挥作用的问题。

而是说，面临着海量的数据和层出不穷的安全漏洞，如果我们在未来还想要解决日益增多的安全问题，人工智能是必须应该掌握的一项技能或者说工具，两者结合也是必然的。

相比于上述提到的各个行业来说，网络安全是一个较为传统的行业。

因此，在很长的一段时间内，网络安全和机器学习技术是分开来演化和发展的，两者并无交集。

例如在恶意检测方向，基于规则和黑白名单以及人工分析等的检测方法已经发展了很久，使用的技术从固定规则、黑白名单、模型、沙箱，最后终于发展到了机器学习这条路上，实现了两者的成功会面，人工智能开始试着在网络安全上发挥作用。

存储和计算能力的爆发式增长，让我们获得了比以往更全面、实时地获取以及分断数据的潜在能力，但面对产生的海量信息，如何快速准确地转化为业务需求则需要依赖一些非传统的手段。

就安全检测领域来说，原先依赖于规则的问题解法过于受限于编写规则的安全专家自身知识领域的广度和深度，以及对问题本质的理解能力。

但我们都知道，安全漏洞层出不穷，攻击利用的方式多种多样，仅仅依赖于规则进行问题的发现，在现阶段的威胁形势下慢慢就显得不大够用了。依靠极其有限的网络专家总结的经验，以及各大厂商之间的样本交换，则更是如此。

网络安全的防护对抗发展到今天，各种技术已经日趋专业和精细化，通过古老的string-match的防御方式越来越不能适应新的攻击环境。纵观安全行业近十余年的攻击方式，从最早的单机小工具发展到如今的分布式、大数据、自动化等攻击方式，防御的方式不得不随之不断升级，而结合机器学习是必须做出的决定。

就我的理解而言，在大量日志数据支撑情况下，对于目前的攻击检测来说

启发式或编码规则的方法在开发和维护上非常耗时，并且需要不断更新规则来覆盖新开发的攻击手段，没法做到高效以及及时识别未知恶意攻击。

基于异常的方法，虽然可以识别未知攻击，但其只学习用户行为来对异常与否做出判断，随着用户行为随时间的变化，它们可能会产生许多误报，也需要重新调整。

而基于ML和DL的方法，则可以有效减少对日志数量的需求，便能找到攻击事件的高级视图，对于新的攻击手段，也仅需要更多的攻击训练数据即可学习新的攻击模式。

新的机器学习，深度学习，自然语言处理，图神经网络等方法，可以用来构建基于序列的模型，基于溯源图的模型等，帮助更高效和准确的识别网络攻击。

另一方面，对于不常见的攻击方法和手段，基于规则的检测很容易产生漏报，且传统的神经网络可能无法很好到学习到其相关特征，无法做到高准确度的检测。这时候，深度学习中的一些概念如迁移学习，小样本学习等可能会帮助我们在攻击样本不足的情况下做到更高精准度的检测。

因此，需要面对大量日志数据的处理；或者保密度较高，容易被最新非常见入侵方法所攻击的的场景，在我看来都应该很适合AI的加入。

再例如，安全监控的建立可能会产生海量的web日志数据，如何通过这些数量巨大的数据来分析发现业务异常和安全问题呢？人工智能显然要比人工更加适合这项任务。

从网络安全的角度来看，借助人工智能这项如日中天的工具来解决日益复杂的安全问题是必然的选择；从人工智能的角度来看，网络安全问题或许是人工智能的下一个突破口也说不准。

所以，基于上述分析，我个人粗浅的认为，不是是否能可以学好的问题，而是说面临着海量的数据和层出不穷的安全漏洞，如果我们在未来还想要解决日益增多的安全问题，人工智能是必须应该掌握的一项技能或者说工具。

现如今，已经有一些机器学习/深度学习方面的工作被用来保障web安全，或者应用至安全领域的其它方向了。

下面举一些简单的示例，用来说明AI在安全方面的应用，例如，用SVM来识别XSS攻击

利用上述从Web日志中所提取出的特征，在一个各有20万样本的模型上进行训练，并且在一个各有5万样本的模型上进行测试，最后运行结果的准确率已经可以达到80%。

如果我们在更大的数据集上做测试，或者使用其他模型以及进一步增加特征个数和后面环节的半自动化或者自动验证，这个准确率会更高，例如用下面的扩展特征做到了90%以上的准确率。

另外，还可以根据XSS攻击载荷数据来训练模型，并通过指定种子按照需求来生成XSS攻击载荷

指定种子生成的XSS攻击载荷

再比如，利用隐马尔科夫链来识别DGA域名

聚类效果

除了web的应用，人工智能还广泛涉及到其他安全领域

例如上述的登录日志，通过知识图谱可以构建出如下拓扑结构来识别盗号行为——初步判断activesyncid2可能盗取了mike的账号

还可以通过日志数据来判断是否遭遇撞库攻击

从拓扑图和日志数据可以看出，大量账户从ip1登录且ua字段相同，登录失败和成功的情况均存在，可以判断大概率发生了撞库攻击。

通过使用ADFA-LD中的Java溢出攻击数据可以训练模型来检测Java溢出攻击

识别垃圾邮件

之前和群里的朋友还讨论过关于利用恶意代码图像来检测二进制文件的想法。

这个概念最早是由加利福尼亚大学的Nataraj和Karthi keyan在他们的论文《Malware Images：Visualization and Automatic Classification》中提出来的，思路非常新颖，把一个二进制文件用灰度图的形式展示出来，利用图像中的纹理特征对恶意代码进行聚类。

就目前的文章来看，恶意代码图像的形式并不固定，研究人员可根据实际情况进行调整和创新改进。

人工智能在安全领域的研究和应用越来越多，上面只是举了一些简单的示例。

我认为以后网络安全和人工智能的结合会更加的紧密，利用AI来解决安全问题会成为一种常见的方法和手段。

不能保证全部，但是在某些安全领域，两者结合是必然的。

我在上面列举了一些方向，例如攻击检测，知识图谱做恶意端点识别，二进制文件的静态处理等，还有很多很多结合内容是可以做的…

总而言之，存储和计算能力的爆发式增长，让我们获得了比以往更全面、实时地获取以及分断数据的潜在能力，但面对产生的海量信息，如果我们在未来还想要解决日益增多的安全问题，人工智能是必须应该掌握的一项技能或者说工具，两者结合也是必然的，包括但不限于上述的内容和方向。

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

网络安全学习资源分享:

最后给大家分享我自己学习的一份全套的网络安全学习资料，希望对想学习 网络安全的小伙伴们有帮助！

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

【点击领取】CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

1.学习路线图

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。【点击领取视频教程】

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本【点击领取技术文档】

（都打包成一块的了，不能一一展开，总共300多集）

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本【点击领取书籍】

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

朋友们如果有需要全套《黑客&网络安全入门&进阶学习资源包》，点击下方链接即可前往免费获取
CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》