【概念】WEB应用自动化安全测试

参考文章:

安全牛:https://www.aqniu.com/learn/46910.html

ISC2020互联网安全峰会议题:利用IAST推动应用安全测试自动化(IAST是DevSecOps实现自动化安全测试的最佳工具之一
)

一:Web应用安全测试技术

为了发现软件的漏洞和缺陷，确保Web应用程序在交付之前和交付之后都是安全的，就需要利用Web应用安全测试技术识别Web应用程序中架构的薄弱点和漏洞，并且必须赶在网络黑客找到和利用它们之前。

Web应用安全测试技术经过多年的发展，目前业界常用的技术主要分为3大类别。

DAST：动态应用程序安全测试（Dynamic Application Security Testing）技术在测试或运行阶段分析应用程序的动态运行状态。它模拟黑客行为对应用程序进行动态攻击，分析应用程序的反应，从而确定该Web应用是否易受攻击。

SAST：静态应用程序安全测试（Static Application Security Testing）技术通常在编码阶段分析应用程序的源代码或二进制文件的语法、结构、过程、接口等来发现程序代码存在的安全漏洞。

IAST：交互式应用程序安全测试（Interactive Application Security Testing）是2012年Gartner公司提出的一种新的应用程序安全测试方案，通过代理、VPN或者在服务端部署Agent程序，收集、监控Web应用程序运行时函数执行、数据传输，并与扫描器端进行实时交互，高效、准确的识别安全缺陷及漏洞，同时可准确确定漏洞所在的代码文件、行数、函数及参数。IAST相当于是DAST和SAST结合的一种互相关联运行时安全检测技术。

 

二:

1、DAST是一种黑盒测试技术，是目前应用最广泛、使用最简单的一种Web应用安全测试方法，安全工程师常用的工具如AWVS、AppScan等就是基于DAST原理的产品。

DAST原理:

1）通过爬虫发现整个 Web 应用结构，爬虫会发现被测Web程序有多少个目录，多少个页面，页面中有哪些参数；

2）根据爬虫的分析结果，对发现的页面和参数发送修改的 HTTP Request 进行攻击尝试（扫描规则库）；

3）通过对于 Response 的分析验证是否存在安全漏洞。

DAST爬虫扫描器流程图:

DAST代理扫描器流程图:

 

2、超过50%的安全漏洞是由错误的编码产生的，开发人员一般安全开发意识和安全开发技能不足，更加关注业务功能的实现。想从源头上治理漏洞就需要制定代码检测机制，SAST是一种在开发阶段对源代码进行安全测试发现安全漏洞的测试方案,SAST需要从语义上理解程序的代码、依赖关系、配置文件。优势是代码具有高度可视性，能够检测更丰富的问题，包括漏洞及代码规范等问题。测试对象比DAST丰富，除Web应用程序之外还能够检测APP的漏洞，不需要用户界面，可通过IDE插件形式与集成开发环境（如Eclipse、IntelliJ IDEA）结合。
SAST原理:

1） 首先通过调用语言的编译器或者解释器把前端的语言代码（如JAVA，C/C++源代码）转换成一种中间代码，将其源代码之间的调用关系、执行环境、上下文等分析清楚。

2）语义分析：分析程序中不安全的函数，方法的使用的安全问题。

3）数据流分析：跟踪，记录并分析程序中的数据传递过程所产生的安全问题。

4）控制流分析：分析程序特定时间，状态下执行操作指令的安全问题。

5）配置分析：分析项目配置文件中的敏感信息和配置缺失的安全问题。

6）结构分析：分析程序上下文环境，结构中的安全问题。

7）结合2）-6）的结果，匹配所有规则库中的漏洞特征，一旦发现漏洞就抓取出来。

8）最后形成包含详细漏洞信息的漏洞检测报告，包括漏洞的具体代码行数以及漏洞修复的建议。

 

3、IAST交互式应用安全测试技术是最近几年比较火热的应用安全测试新技术，曾被Gartner咨询公司列为网络安全领域的Top 10技术之一。IAST融合了DAST和SAST的优势，漏洞检出率极高、误报率极低，同时可以定位到API接口和代码片段。

IAST原理:

IAST的实现模式较多，常见的有代理模式、VPN、流量镜像、插桩模式，本文介绍最具代表性的2种模式，代理模式和插桩模式。

代理模式，在PC端浏览器或者移动端APP设置代理，通过代理拿到功能测试的流量，利用功能测试流量模拟多种漏洞检测方式对被测服务器进行安全测试。

插桩模式，插桩模式是在保证目标程序原有逻辑完整的情况下，在特定的位置插入探针，在应用程序运行时，通过探针获取请求、代码数据流、代码控制流等，基于请求、代码、数据流、控制流综合分析判断漏洞。插桩模式具体实现有2种模式，Active 插桩和Passive 插桩。

1) 代理模式实现原理

a. 功能测试人员在浏览器或者APP中设置代理，将IAST设备地址填入；

b. 功能测试人员开始功能测试，测试流量经过IAST设备，IAST设备将流量复制一份，并且改造成安全测试的流量；

c. IAST设备利用改造后的流量对被测业务发起安全测试，根据返回的数据包判断漏洞信息。

插桩需要在服务器中部署Agent，不同的语言不同的容器要不同的Agent，这对有些用户来说是不可接受的。而代理模式不需要服务器中部署Agent，只是测试人员要配置代理，安全测试会产生一定的脏数据，漏洞的详情无法定位到代码片段，适合想用IAST技术又不接受在服务器中部署Agent的用户使用。

 

2) Active插桩实现原理

a. 被测试服务器中安装IAST插桩 Agent；

b. DAST Scanner发起扫描测试；

c. IAST插桩 Agent追踪被测试应用程序在扫描期间的反应附加测试，覆盖率和上下文，将有关信息发送给Management Server，Management Server展示安全测试结果。

Active 插桩模式需要在被测试应用程序中部署插桩 Agent，使用时需要外部扫描器去触发这个Agent。一个组件产生恶意攻击流量，另一个组件在被测应用程序中监测应用程序的反应，由此来进行漏洞定位和降低误报。

Active 插桩模式更像是一种改进版的DAST技术，目前最新的AWVS、AppScan已经采用了Active 插桩模式。AWVS集成了“AcuSensor”模块，通过在源代码中部署传感器来增强定期动态扫描。AcuSensor能够在AWVS扫描期间检查Web应用程序执行时的源代码，在后端抓取应用程序，提供100％爬行覆盖率，查找并测试在黑盒扫描期间未发现的隐藏输入。AppScan则是集成了“Glass Box”服务模块，这使得AppScan支持 Web 2.0、JavaScript 和 AJAX 框架。

Active 插桩模式解决了传统DAST漏报和无法精确定位漏洞位置的问题，需要先做扫描，扫描触发漏洞需要一定的时间，而且扫描会对业务测试产生影响。在双向HTTPS加密、CSRF Token页面、防攻击重放等场景下Active 插桩模式依然无法进行安全测试。

 

3) Passive 插桩实现原理

a. 被测试服务器中安装插桩 Agent；

b. 插桩 Agent在应用程序运行时获取请求和代码数据流、代码控制流；

c. 插桩Agent将获取的信息发送给Management Sever，Management Sever展示安全测试结果。

Passive 插桩在程序运行时监视应用并分析代码，它不会主动对Web应用程序执行攻击，而是纯粹被动地分析检测代码。这实际上是一个巨大的优势，因为它不会影响同时运行的其他测试活动，并且只需要业务测试（手动或自动）来触发安全测试，有测试流量过来就可以实时的进行漏洞检测。

插桩模式的关键是Agent，Agent需要根据不同语言进行开发，但是功能基本相同：

• 获取请求数据和返回数据；
• 代码执行中的参数传递；
• 数据库查询（如ODBC）；
• 目录查询（如LDAP），文件系统权限；
• 监听内存中特定的值，识别受污染的输入；
• 第三方库的使用;
• 对外部应用程序和服务的调用；
• 特定代码的执行等。

IAST插桩主动型扫描器:

IAST插桩被动型(动态污点分析)扫描器:

IAST插桩被动型(动态污点分析)实现原理1:

IAST插桩被动型(动态污点分析)实现原理2：

IAST插桩被动型(动态污点分析)实现原理3：

 

三:三种技术的应用场景分析

上文分析了DAST、SAST、IAST三种技术的具体实现原理和各自的优劣势，技术本身没有优劣之分，不同的技术能够解决不同场景下的问题，需要安全工程师能够因地制宜地选择对应的技术解决对应的问题。

DAST技术比较适合用于线上运行环境的监控，研发阶段代码检测适合使用SAST技术，QA阶段适合使用IAST技术。