Apache HTTP 过滤器filter、开源WAF（ModSecurity）、Apache 模块开发

一、安全基础

1. 什么是XSS攻击

XSS是一种经常出现在web应用中的计算机安全漏洞，它允许恶意web用户将代码植入到提供给其它用户使用的页面中。比如这些代码包括HTML代码和客户端脚本。攻击者利用XSS漏洞旁路掉访问控制——例如同源策略(same origin policy)。这种类型的漏洞由于被黑客用来编写危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。

XSS漏洞的危害
（1）网络钓鱼，包括盗取各类用户账号；
（2）窃取用户cookies资料，从而获取用户隐私信息，或利用用户身份进一步对网站执行操作；
（3）劫持用户（浏览器）会话，从而执行任意操作，例如进行非法转账、强制发表日志、发送电子邮件等；
（4）强制弹出广告页面、刷流量等；
（5）网页挂马；
（6）进行恶意操作，例如任意篡改页面信息、删除文章等；
（7）进行大量的客户端攻击，如DDoS攻击；
（8）获取客户端信息，例如用户的浏览历史、真实IP、开放端口等；
（9）控制受害者机器向其他网站发起攻击；
（10）结合其他漏洞，如CSRF漏洞，实施进一步作恶；
（11）提升用户权限，包括进一步渗透网站；
（12）传播跨站脚本蠕虫等；

2. SQL Injection

安全测试 | SQL注入（SQL Injection）技术
参考URL: https://zhuanlan.zhihu.com/p/433211861

SQL Injection SQL注入,是指攻击者通过注入恶意的SQL命令,破坏SQL查询语句的结构,从而达到执行恶意SQL语句的目的。

SQL注入漏洞主要形成的原因是在数据交互中，前端的数据传入到后台处理时，没有做严格的判断，导致其传入的“数据”拼接到SQL语句中后，被当作SQL语句的一部分执行， 从而导致数据库受损（被脱裤、被删除、甚至整个服务器权限沦陷）。

在构建代码时，一般会从如下几个方面的策略来防止SQL注入漏洞：

• 对传进SQL语句里面的变量进行过滤，不允许危险字符传入
• 使用参数化（Parameterized Query 或 Parameterized Statement）
• 还有就是，目前有很多ORM框架会自动使用参数化解决注入问题(常见后端框架)

3. OWASP的核心规则集

OWASP是一个安全社区，开发和维护着一套免费的应用程序保护规则，这就是所谓OWASP的ModSecurity的核心规则集(即CRS)。

ModSecurity 核心规则文件: https://github.com/coreruleset/coreruleset

OWASP维护，也是modsecurity官方规则集！

二、ModSecurity

官网：www.modsecurity.org
非官方中文站点：http://www.modsecurity.cn/
非官方中文文档：http://www.modsecurity.cn/chm/index.html
github:https://github.com/SpiderLabs/ModSecurity

在如今的web时代，XSS攻击、sql注入十分常见，针对xss、sqli攻击的防御也有不少，Filter就是一种用来防御xss攻击的最常见的手段，filter通常是采用黑名单的形式或者基于正则表达式来过滤。

1. ModSecurity简介

ModSecurity是由 Trustwave 的 SpiderLabs 开发的用于 Apache、IIS 和 Nginx 的开源、跨平台 Web 应用程序防火墙 (WAF) 引擎，被称为WAF界的“瑞士军刀”。它是目前世界上使用最多的开源WAF产品，可谓是WAF界的鼻祖，很多其他WAF产品都或多或少受其影响，如OpenWAF等。

mod_security是一个集入侵检测和防御引擎功能的开源web应用安全程序(或web应用程序防火墙)。它以Apache Web服务器的模块方式运行, 目标是增强web应用程序的安全性, 防止web应用程序，受到已知或未知的攻击。

Apache的ModSecurity模块，来保证服务器的安全运行。它可以自定义规则，而且可以直接套用owasp-modsecurity-crs现成的规则，来保证WordPress等网站程序的安全运行。内置的规则，支持防止XSS入侵、防止SQL注入、以及一些常用的编程语言的防火墙保护规则，比如php等。

modsecurity原先是apache的组件，后应广大网友要求，增加了nginx版的modsecurity。Mod security 是以apache模块或者nginx模块的形式其作用的。

ModSecurity is an open source, cross platform web application firewall (WAF) engine for Apache, IIS and Nginx that is developed by Trustwave’s SpiderLabs. It has a robust event-based programming language which provides protection from a range of attacks against web applications and allows for HTTP traffic monitoring, logging and real-time analys…

ModSecurity是由Trustwave的SpiderLabs开发的Apache，IIS和NGINX的开源，跨平台Web应用程序防火墙（WAF）引擎。它具有强大的基于事件的编程语言，可保护免受针对Web应用程序的一系列攻击，并允许HTTP流量监视，记录和实时分析…

ModSecurity是一个免费、开源的Apache模块,可像防火墙一样工作。它通过规则集起作用,允许您自定义和配置服务器安全性。 ModSecurity还可以实时监视Web流量，并帮助您检测和响应入侵。它可以与Apache，Nginx和IIS一起使用，并且与Debian，Ubuntu和CentOS兼容。

不同系统，主要是分为三种情况：

• apache + ModSecurity
• nginx+ ModSecurity
• IIS + ModSecurity

1.1 ModSecurity功能介绍

• SQL Injection (SQLi)：阻止SQL注入
• Cross Site Scripting (XSS)：阻止跨站脚本攻击
• Local File Inclusion (LFI)：阻止利用本地文件包含漏洞进行攻击
• Remote File Inclusione(RFI)：阻止利用远程文件包含漏洞进行攻击
• Remote Code Execution (RCE)：阻止利用远程命令执行漏洞进行攻击
• PHP Code Injectiod：阻止PHP代码注入
• HTTP Protocol Violations：阻止违反HTTP协议的恶意访问
• HTTPoxy：阻止利用远程代理感染漏洞进行攻击
• Sshllshock：阻止利用Shellshock漏洞进行攻击
• Session Fixation：阻止利用Session会话ID不变的漏洞进行攻击
• Scanner Detection：阻止黑客扫描网站
• Metadata/Error Leakages：阻止源代码/错误信息泄露
• Project Honey Pot Blacklist：蜜罐项目黑名单
• GeoIP Country Blocking：根据判断IP地址归属地来进行IP阻断

1.2 ModSecurity规则库

ModSecurity规则库学习
参考URL: https://blog.csdn.net/Sydney_d/article/details/81740534
ModSecurity规则分析（一）
参考URL: https://blog.csdn.net/w2sft/article/details/115693574

• OWASP® ModSecurity Core Rule Set (CRS) 官网：https://coreruleset.org/
  OWASP®（开放Web应用程序安全项目）CRS（核心规则集）是一个免费的开源规则集合，可与ModSecurity®和兼容的Web应用程序防火墙（WAFS）一起使用。这些规则旨在提供易于使用的通用攻击检测功能，最少的假阳性（错误警报），作为一个均衡的防御解决方案的一部分。

CRS 3 requires a web server with a new ModSecurity or compatible firewall.

Apache web server with ModSecurity 2.9.6 or higher
IIS/Nginx web server with ModSecurity 3.0.8 or higher
Important Notice: From CRS 3.2.2, 3.3.3 and up, ModSecurity 2.9.6 or 3.0.8 (or versions with backported patches) are required due to the addition of new protections. We recommend upgrading your ModSecurity as soon as possible. If your ModSecurity is too old, your webserver will refuse to start. As a temporary measure, you can delete file rules/REQUEST-922-MULTIPART-ATTACK.conf. However, you will be missing some protections.

重要通知：从CRS 3.2.2、3.3.3及以上，ModSecurity 2.9.6或3.0.8（或带有背板补丁的版本）由于添加了新的保护而需要。我们建议尽快升级您的ModSecurity。如果您的ModSecurity太老了，您的Web服务器将拒绝启动。作为临时度量，您可以删除文件规则/request-922-multipart-attack.conf。但是，您将缺少一些保护。

主要规则文件：
REQUEST-910-IP-REPUTATION.conf（可疑IP匹配)

REQUEST-912-DOS-PROTECTION.conf（DDOS攻击）

REQUEST-913-SCANNER-DETECTION.conf（扫描器检测）

REQUEST-920-PROTOCOL-ENFORCEMENT.conf（HTTP协议规范相关规则）

REQUEST-921-PROTOCOL-ATTACK.conf（协议攻击）

举例：HTTP Header Injection Attack、HTTP参数污染

REQUEST-930-APPLICATION-ATTACK-LFI.conf（应用攻击-路径遍历）

REQUEST-931-APPLICATION-ATTACK-RFI.conf（远程文件包含）

REQUEST-932-APPLICATION-ATTACK-RCE.conf（远程命令执行）

REQUEST-933-APPLICATION-ATTACK-PHP.conf（PHP注入攻击）

REQUEST-941-APPLICATION-ATTACK-XSS.conf（XSS）

REQUEST-942-APPLICATION-ATTACK-SQLI.conf（SQL注入）

REQUEST-943-APPLICATION-ATTACK-SESSION-FIXATION.conf（会话固定）

REQUEST-949-BLOCKING-EVALUATION.conf（）

RESPONSE-950-DATA-LEAKAGES.conf（信息泄露）

RESPONSE-951-DATA-LEAKAGES-SQL.conf（SQL信息泄露）

RESPONSE-952-DATA-LEAKAGES-JAVA.conf（JAVA源代码泄露）

RESPONSE-953-DATA-LEAKAGES-PHP.conf（PHP信息泄露）

RESPONSE-954-DATA-LEAKAGES-IIS.conf（IIS信息泄露）
SecRule是ModSecurity主要的指令，用于分析数据并根据结果执行动作，通常规则的格式如下：

SecRule VARIABLES OPERATOR [ACTIONS]

VARIABLES描述哪个变量被检查
OPERATOR描述如何进行检查
ACTIONS，可选,描述当操作进行成功的匹配一个变量时具体怎么做。

• 9,000,000-9,999,999;为OWASP MODSECURITY核心规则集项目保留。

CRS(coreruleset)是ModSecurity体系的核心，规则体系强大并且灵活!

2. ModSecurity-2和ModSecurity-3

github:https://github.com/SpiderLabs/ModSecurity

libmodsecurity是ModSecurity V3项目的一个组成部分。图书馆代码库是ModSecurity连接器接收Web流量并应用传统ModSecurity处理的接口。通常，它提供了以ModSecurity Secrules格式编写的加载/解释规则，并将其应用于您应用程序通过连接器提供的HTTP内容。

如果您正在寻找Apache（又称ModSecurity v2.x）的ModSecurity，则它仍在维护和可用：此处。

该项目和旧的modsecurity（v2.x.x）有什么区别？

• 所有apache依赖性已删除
• 更高的性能
• 新功能
• 新体系结构

libmodsecurity是ModSecurity平台的完整重写。首次设计时，ModSecurity项目仅是一个Apache模块。随着时间的流逝，由于受欢迎的需求，该项目已被扩展，以支持其他平台，包括（但不限于）Nginx和IIS。为了满足对额外平台支持的不断增长的需求，必须消除该项目基础的Apache依赖性，从而使其更加独立。

在ModSecurity v3之前的版本中，Nginx的兼容性较差，这是因为在ModSecurity在设计之初是作为Apache HTTP服务的一个模块进行设计开发的，所以导致ModSecurity严重依赖于Apache HTTP服务。随着时间的推移，由于大众需求，该项目已经扩展到其他平台，包括Nginx 和 IIS等。为了满足对额外平台的支持不断增长的需求，需要删除该项目下的 Apache 依赖项，使其更加独立于平台。在ModSecurity v3版本中进行了重构，整个项目完全进行重写，去除了Apache HTTP的依赖，可以完美兼容Nginx。新的ModSecurity v3版本中，核心功能转移到了名为 Libmodsecurity 的独立组件中，通过连接器连接到 Nginx 和 Apache。接收 Web 流量并应用传统的 ModSecurity 处理。

“ Modsecurity”分支不再包含传统上包装在一起的传统模块逻辑（对于Nginx，Apache和IIS）。相反，该分支仅包含该项目的库部分（libmodsecurity）。这些库被我们称为“Connectors”的内容，这些Connectors将与您的Web服务器接口，并为库提供所理解的通用格式。这些Connectors中的每一个都被维护为一个单独的GitHub项目。例如，NGINX Connectors由ModSecurity-Nginx项目（https://github.com/spiderlabs/modsecurity-nginx）提供。

使用ModSecurity-3，安装 libmodsecurity 后，您可以继续安装 ModSecurity-nginx 连接器，遵循nginx第三方模块的安装过程。

ModSecurity-nginx连接器起到什么作用？

ModSecurity-nginx 连接器是 nginx 和 libmodsecurity（ModSecurity v3）之间的连接点。换个说法，这个项目提供了一个nginx和libmodsecurity之间的通信通道。需要此连接器才能将 LibModSecurity 与 nginx 一起使用。

ModSecurity-nginx 连接器采用 nginx 模块的形式。该模块只是充当 nginx 和 ModSecurity 之间的通信层。

Nginx连接器：https://github.com/SpiderLabs/ModSecurity-nginx
Apache连接器：https://github.com/SpiderLabs/ModSecurity-apache

注意：由于ModSecurity v3与Apache的连接器（ModSecurity-apache connector）目前仍处于测试阶段，因此如果生产环境的Web服务器为Apache，请勿使用ModSecurity v3版本，推荐使用ModSecurity v2.9.x版本。

总结：ModSecurity2.x 支持apache ngnix iis 依赖 apache库， 编程语言C， 不方便移植。

ModSecurity3.x 对整体架构改进，将第三方模块与核心代码分离，编程语言C++11，提供了C调用接口，第三方模块采用连接器，核心代码封装在libmodsecurity， 不再依赖apache库。

如果想要让自己的应用关联modsecurity功能，可以在libmodsecurity库的基础上开发。

3. ModSecurity 2.x编译安装使用

如何打造好用的ModSecurity系列 Part 1
参考URL: https://forum.butian.net/share/258
创业团队如何在低成本的情况下保护自己的网站安全？
参考URL: https://www.zhihu.com/tardis/bd/ans/1064715431

1. 下载编译安装Libmodsecurity
   下载LibModsecurity，这是库，后面还有一个连接器

sudo apt-get install build-essential
apt install g++ flex bison curl apache2-dev doxygen libyajl-dev ssdeep liblua5.2-dev libgeoip-dev libtool dh-autoreconf libcurl4-gnutls-dev libxml2 libpcre++-dev libxml2-dev git
./autogen.sh


git checkout v2.9.7

./autogen.sh
./configure
make
make install

默认安装在 位置： /usr/local/modsecurity/lib

# ls /usr/local/modsecurity/lib
mod_security2.so

/usr/local/modsecurity/lib 是 ModSecurity 的安装目录，它存储了 ModSecurity WAF 引擎的共享库文件（.so 文件）和其他相关文件。

具体来说，该目录通常包含以下文件：

• mod_security2.so：ModSecurity 2.x 版本的 Apache 模块，负责解析和执行 ModSecurity 规则。
• libmodsecurity.so：ModSecurity 3.x 版本的引擎库文件，提供了更多的防御策略和可扩展性。
• libxml2.so.x.x.x：XML 库文件，ModSecurity 使用此库来解析和处理 XML 格式的规则。
• libpcre.so.x.x：PCRE 库文件，ModSecurity 使用此库来支持正则表达式规则。
• libcurl.so.x.x.x：Curl 库文件，ModSecurity 使用此库来获取远程数据或进行 HTTP 请求。

总之，/usr/local/modsecurity/lib 存储了 ModSecurity WAF 引擎运行所需的共享库文件和其他依赖文件。它是 ModSecurity 安装的重要组成部分，也是 ModSecurity 保证 Web 应用程序安全的关键之一。

2. 将 ModSecurity 模块添加到 Apache 的配置文件中。

echo "LoadModule security2_module /usr/local/modsecurity/lib/mod_security2.so" | sudo tee -a /etc/apache2/apache2.conf

3. 配置规则

<IfModule mod_security2.c>
    # Enable ModSecurity
    SecRuleEngine On
    
    # Include optional ModSecurity configuration files
    IncludeOptional /path/to/modsecurity/*.conf
</IfModule>

SecRuleEngine

是接受来自ModSecurity-CRS目录下的所有规则的安全规则引擎。因此，我们可以根据需求设置不同的规则。要设置不同的规则有以下几种。

SecRuleEngine On： 将在服务器上激活ModSecurity防火墙。它会检测并阻止该服务器上的任何恶意攻击。

SecRuleEngine Detection Only： 如果这个规则是在whitelist.conf文件中设置的，它只会检测到所有的攻击，并根据攻击产生错误，但它不会在服务器上阻止任何东西。

SecRuleEngine Off:： 这将在服务器上上停用ModSecurity的防火墙。

启用 ModSecurity 并重启 Apache 服务。

ModSecurity 3.x的话
用连接器把LibModsecurity和Apache组装上

echo "LoadModule security3_module /usr/lib/apache2/modules/mod_security3.so" | sudo tee -a /etc/apache2/apache2.conf

创建Modsecurity的配置目录，并配置

mkdir /etc/apache2/modsecurity.d
find / -name modsecurity.conf-recommended
cp ~/ModSecurity/modsecurity.conf-recommended /etc/apache2/modsecurity.d/modsecurity.conf
cp ~/ModSecurity/unicode.mapping /etc/apache2/modsecurity.d/
sed -i 's/SecRuleEngine DetectionOnly/SecRuleEngine On/' /etc/apache2/modsecurity.d/modsecurity.conf

unicode.mapping 文件是用于 ModSecurity 模块的一个配置文件，它定义了用于解码 HTTP 请求和响应正文中 Unicode 字符编码的映射表。在 HTTP 协议中，Unicode 字符可以使用多种编码方式进行传输，例如 UTF-8、UTF-16 等。为了使 ModSecurity 能够正确地处理这些字符，需要提供一组映射规则，以将各种 Unicode 编码转换为适当的字符表示形式。

ModSecurity 在处理请求或响应正文时会自动加载 unicode.mapping 文件，并根据其中定义的映射规则进行字符解码。这有助于确保 ModSecurity 能够正确地防止 Unicode 相关的攻击，如 XSS 和 SQL 注入等。

如果您需要自定义或修改 unicode.mapping 文件，请务必小心谨慎，并始终对更改进行测试和调试，以避免对 Web 应用程序的正常功能产生不良影响。

使用vim创建文件，并写文件

vim /etc/apache2/modsecurity.d/modsec_rules.conf

写的内容如下：

Include "/etc/apache2/modsecurity.d/modsecurity.conf"
Include "/etc/apache2/modsecurity.d/owasp-crs/crs-setup.conf"
Include "/etc/apache2/modsecurity.d/owasp-crs/rules/*.conf"

下载CRS核心规则集，改名字

cd /etc/apache2/modsecurity.d
git clone https://github.com/SpiderLabs/owasp-modsecurity-crs.git /etc/apache2/modsecurity.d/owasp-crs
cd /etc/apache2/modsecurity.d/owasp-crs
cp /etc/apache2/modsecurity.d/owasp-crs/crs-setup.conf{
   .example,}

激活Modsecurity3.0网站防火墙

像上面那样添加2行就可以了，一个开关，一个规则路径，如下：

<IfModule security2_module>
    SecRuleEngine On 	# 配置规则引擎是否开启，可选参数：On、Off、Detection Only；
    IncludeOptional /etc/apache2/modsecurity.d/modsec_rules.conf
</IfModule>

SecRuleEngine 都是我们在 AP_MODULE_DECLARE_DATA 的 module_directives中定义的 command_rec结构体实例。


CMD_SCOPE_ANY 决定了，你自定义的apache 指令可以配置在哪里？

#define CMD_SCOPE_ANY   (RSRC_CONF | ACCESS_CONF)

Apache2.2\include\http_config.h

#define ACCESS_CONF 64       /**< *.conf inside <Directory> or <Location> */
#define RSRC_CONF 128	     /**< *.conf outside <Directory> or <Location> */
#define EXEC_ON_READ 256     /**< force directive to execute a command 
                which would modify the configuration (like including another
                file, or IFModule */

4. 启动验证
   使用postman发送如下请求：

http://xxx.run:8000/?<script>alert(1);</script>

查看返回以及apache日志

tail -f /var/log/apache2/error.log

检查审计日志：

tail /var/log/modsec_audit.log

常见报错总结

modsecurity报错：ModSecurity requires mod_unique_id to be installed.

这个错误提示表示 ModSecurity 模块需要 Apache 的 mod_unique_id 模块才能正常工作。

mod_unique_id 是 Apache 的一个标准模块，用于生成唯一的请求标识符（UUID），以便在日志文件中跟踪每个请求的处理情况。ModSecurity 利用这些标识符来监视和审计 Web 请求，并防护各种攻击。如果 mod_unique_id 模块未安装或未启用，则 ModSecurity 将无法正常工作。

解决方法：

apachectl -M | grep unique_id 

如果找不到，手动搜索 mod_unique_id 模块的文件名

find /usr/lib/apache2/modules/ -name "*unique*"

手动加载 mod_unique_id 模块。如果 mod_unique_id 模块已经被编译并安装到正确的位置，但没有被加载，您可以编辑 Apache 主配置文件或虚拟主机配置文件，并手动添加以下语句来加载该模块：

LoadModule unique_id_module /usr/lib/apache2/modules//mod_unique_id.so

重启 Apache 服务器。在修改 Apache 配置文件后，您需要重新启动 Apache 服务器，使得新的配置生效。

sudo service apache2 restart

apache 和 Apache指令之间的区别

<IfModule mod_ssl.c>
Include conf/ssl.conf
</IfModule>

容器用于判断指定的模块是否存在，若存在则包含与其中的指令将有效。具体到此例：若mod_ssl模块存在，则用Include指令将conf/ssl.conf配置文件包含进当前的配置文件中。
除容器外，Apache还提供、、、等容器指令。其中用于定义虚拟主机；、、等容器指令主要用来封装一组指令，使指令的作用域限制在容器指定的目录、文件或某个以URL开始的地址。

例如/etc/httpd/conf/httpd.conf

Directory指令仅适用于文件系统对象（例如/ var / www / mypage，C：\ www \ mypage），而Location指令仅适用于URL（站点域名后的部分，例如www.mypage.com/mylocation）。

用法很简单- Location如果需要通过URL调整访问权限，Directory则需要使用，如果需要控制对文件系统中的目录（及其子目录）的访问权限，则可以使用。

4. 如何禁用mod_security？

官方文档：https://github.com/SpiderLabs/ModSecurity/wiki/#start-apache-httpd
如何在.htaccess文件中禁用mod_security？
参考URL: https://qa.1r1g.com/sf/ask/904985231/

SecDebugLog

描述：设置记录ModSecurity调试日志的路径。
语法：SecDataDir /path/to/dir
举例：SecDataDir /usr/local/apache/logs/data
WEB服务用户必须有对相应配置的目录有写入权限。
注意：该指令无法在VirtualHosts中启用。如果启用，它必须放置在全局配置文件中，例如默认的modsecurity.conf。

AP_INIT_TAKE1 (
    "SecDebugLog",
    cmd_debug_log,
    NULL,
    CMD_SCOPE_ANY,