架构：WAF流量清洗。

最新推荐文章于 2021-10-23 20:51:59 发布
最新推荐文章于 2021-10-23 20:51:59 发布
阅读量777 收藏 2
点赞数 1
文章标签： 安全 waf
原文链接：https://www.cnblogs.com/milantgh/p/4259421.html
版权

本篇文章从WAF产品研发的角度来YY如何实现一款可靠的WAF，灵感来自ModSecurity等，感谢开源。

本片文章包括三个主题

  • WAF实现

WAF包括哪些组件,这些组件如何交互来实现WAF防御功能

  • wAF规则（策略）维护

规则(策略)如何维护，包括获取渠道，规则测试方法以及上线效果评测 (3)

  •  WAF支撑

WAF产品的完善需要哪些信息库的支撑

WAF实现

WAF一句话描述，就是解析HTTP请求（协议解析模块），规则检测（规则模块），做不同的防御动作（动作模块），并将防御过程（日志模块）记录下来。不管硬件款，软件款，云款，核心都是这个，而接下来围绕这句话来YY WAF的实现。WAF的实现由五个模块(配置模块、协议解析模块、规则模块、动作模块、错误处理模块）组成

配置模块

设置WAF的检测粒度，按需开启,如图所示

协议解析模块（重点）

协议解析的输出就是下一个模块规则检测时的操作对象，解析的粒度直接影响WAF防御效果。对于将WAF模块寄生于web 服务器的云WAF模式，一般依赖于web 服务器的解析能力。

WAF的实现 - 碳基体 - 碳基体

规则模块（重点）

重点来了，这块是WAF的核心，我将这块又细分为三个子模块。

规则配置模块

IP黑白名单配置、 URL黑白名单配置、以及挑选合适的规则套餐。

WAF的实现 - 碳基体 - 碳基体

规则解析模块

主要作用是解析具体的规则文件，规则最好采用统一的规则描述语言，便于提供给第三方定制规则，ModSecurity这方面做得非常优秀。

规则文件由四部分组成，分为变量部分、操作符部分，事务函数部分与动作部分。

WAF的实现 - 碳基体 - 碳基体

规则检测模块

上一步我们设置了各种变量，接下来就是按照一定的逻辑来做加减乘除了。

WAF的实现 - 碳基体 - 碳基体

动作模块（重点）

通过规则检测模块，我们识别了请求的好恶，接下来就是做出响应，量刑处理，不仅仅是拦截。

WAF的实现 - 碳基体 - 碳基体

日志模块（重点）

日志处理，非常重要，也非常火 热，内容丰富到完全可以从WAF独立出来形成单独的安全产品（e.g.日志宝）而采用提供接口的方式来支撑WAF。对于数据量巨大的云WAF，都会有单独 的大数据团队来支撑架构这一块，包括数据存储（e.g. hdfs) ，数据传输(kafka)，数据离线分析（hadoop/spark），数据实时分析（storm），数据关联分析（elasticsearch)等等， 以后另开一篇单独说明。

WAF的实现 - 碳基体 - 碳基体

错误处理模块

以上模块运行错误时的异常处理

WAF规则(策略)维护

WAF需要修炼一图以蔽之

WAF的实现 - 碳基体 - 碳基体

WAF支撑信息库

WAF需要修炼一图以蔽之

WAF的实现 - 碳基体 - 碳基体

以上支撑库几乎所有的安全人员都在重复地做，而资源没有共享的原因，一是内部不可说；二是没有采取统一的描述语言无法汇合，唉，安全从业人员的巴别塔。

补充知识（包括文章与代码）

WAF相关

WAF防御能力评测及工具

ssdeep检测webshell

ModSecurity相关文章（我就是ModSecurity的死忠粉）

[科普文]ubuntu上安装Apache2+ModSecurity及自定义WAF规则

ModSecurity SecRule cheatsheets

ModSecurity CRS 笔记、WAF防御checklist,及WAF架构的一些想法

ModSecurity 晋级-如何调用lua脚本进行防御快速入门

ModSecurity 白名单设置

指纹识别

Web应用指纹识别

FingerPrint

IP相关

使用免费的本地IP地理库来定位IP地理位置－GeoIP lookup

获得IP的地理位置信IP Geolocation及IP位置可视化

IP地理信息离线获取脚本

IP地理信息在线获取脚本

识别搜索引擎脚本

判断使用哪家CDN脚本

代理类型判断脚本 Proxy探测脚本与HTTP基本认证暴力破解脚本

CDN架构

网站负载均衡技术读书笔记与站长产品的一点想法

正则优化

NFA引擎正则优化TIPS、Perl正则技巧及正则性能评测方法

HTTP发包工具

HTTP.pl——通过HTTP发包工具了解HTTP协议

HTTP发包工具 －HTTPie

WAF实现的思维导图

参考

《ModSecurity  Handbook》

第八、九、十，十一我是反复看，每次都有新的灵感，第14、15章是当成新华字典看的，以免遗忘。

《Web Application Defenders Cookbook Battling Hackers and Protecting Users》 (红宝书，还在看)

FreeBuf推荐

http://weibo.com/tanjiti

软件求生
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WafDemo:Waf 的演示
05-29
WafDemo Waf 的演示。
深入了解网络流量清洗--WAF的流量清洗
最新发布
空鵼
01-08 1384
雷池社区版的核心是其先进的智能语义分析算法。网络流量清洗是一种关键的网络安全措施，它的主要目的是监测、分析并清除进入企业网络的恶意流量。雷池社区版作为一款高效的网络安全工具，其在流量清洗方面的表现优异，为企业提供了强大的安全支持。通过对流量数据的深入分析，雷池社区版可以准确识别出哪些流量是合法的，哪些可能含有恶意的内容。公司经常面临来自不同源的大量流量，有传统的网络安全措施，但仍然难以应对日益复杂的网络攻击。随着网络威胁的不断演进，有效的流量清洗策略已成为任何企业网络安全计划中不可或缺的一部分。
霸下-七层流量清洗提供安全防护新方案
weixin_33869377的博客
12-14 308
12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大家分享了2017双11背后的黑科技。本文是《霸下-七层流量清洗》演讲整理，主要讲解了霸下-七层流量清洗区别于传统清洗方案的特点、设计理念、架构及突出表现，内容如下。 分享嘉宾： 铁花，阿里巴巴资深技术专家，淘宝最早SDL建立及实施人，淘宝第...
DDOS流量清洗，全面防御DDoS攻击
u012721712的专栏
07-13 1959
DDoS攻击的危害： DDoS的攻击方式有很多种，最基本的DDoS攻击就是利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响应。单一的DDoS攻击一般是采用一对一方式的，当攻击目标CPU速度低、内存小或者网络带宽小等等各项指标不高的性能，它的效果是明显的。随着计算机与网络技术的发展，计算机的处理能力迅速增长，内存大大增加，同时也出现了千兆级别的网络，这使得DDoS攻击的困难程...
DDoS异常流量清洗解决方案
热门推荐
gnaw0725博客
12-02 1万+
《DDoS异常流量清洗解决方案》本文来自绿盟科技解决方案 1. 安全问题、压力和挑战 DDoS攻击是一种可以造成大规模破坏的黑客武器，它通过制造伪造的流量，使得被攻击的服务器、网络链路或是网络设备（如防火墙、路由器等）负载过高，从而最终导致系统崩溃，无法提供正常的服务。 DDoS攻击从种类和形式上多种多样，从最初的针对系统漏洞型的DoS攻击（如Ping of Death），发展到现在
专访铁花：阿里“霸下”，七层流量清洗平台的应用场景解读
weixin_34000916的博客
12-05 399
摘要： 在阿里巴巴技术协会、云栖社区联合主办并独家直播的《2017阿里双11技术十二讲》上，阿里巴巴资深技术专家铁花将分享话题《霸下——七层流量清洗》。12月13-14日19:30，阿里巴巴技术协会、云栖社区联合主办并独家直播的《2017阿里双11技术十二讲》将强势来袭。本次双11在线技术论坛将专注更深的科技层面，全方面展现时代更迭下的全新黑科技，带你详细了解2017阿里双11背后的技术，并为你提...
waf:Waf构建系统的扩展
05-01
斯坦沃夫之杖 我们使用Waf作为构建工具。 但是，在将Waf文件添加到各个项目之前，我们首先向Waf添加一些其他工具。 这些帮助我们处理/解决库依赖关系。 目标是向Waf添加功能，以便它可以自动克隆和下载所需的依赖项...
技术分享：WAF选型须关注五大功能
10-18
在互联网应用高速发展的同时，承载Web信息系统的Web服务器也面临着巨大安全挑战...因此，针对Web应用层的防御产品——WAF(Web Application Firewall，Web应用防火墙)产品已经成为构建客户网站安全解决方案的首要选择。
waf-fle:WAF-FLE，ModSecurity控制台
05-11
WAF-FLE-自述文件 Web应用程序防火墙：快速日志和事件控制台 版权所有（C）2011-2014 Klaubert Herr有关新的（发布的）版本，请访问 ://waf-fle.org。WAF-FLE根据GPL v2许可证发行。 概括： WAF-FLE是一个开放源...
waf-unittest:Waf单元测试模块
05-21
另一个Waf单元测试关于这是带有内置google-gtest支持的waf的unittest模块。 其中包括gtest-1.7.0，因此无需安装即可使用gtest。用法将unittest_gtest.py复制到您的项目目录中。 $ wget ...
霸下七层流量清洗提供安全防护新方案.pdf
08-29
阿里巴巴资深技术专家铁花，在由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双18技术十二讲》技术分享中，主要讲解了霸下-七层流量清洗区别于传统清洗方案的特点、设计理念、架构及突出表现。
modsecurity handbook英文版
10-31
modsecurity handbook完整版。包含了所有的动作以及使用场景分析，网络安全必看手册
modsecurity handbook
11-11
ModSecurity Handbook is the definitive guide to ModSecurity, a popular open source web application firewall. Written by Ivan Ristic, who designed and wrote much of ModSecurity, this book will teach you everything you need to know to monitor the activity on your web sites and protect them from attack. Situated between your web sites and the world, web application firewalls provide an additional security layer, monitoring everything that comes in and everything that goes out. They enable you to perform many advanced activities, such as real-time application security monitoring, access control, virtual patching, HTTP traffic logging, continuous passive security assessment, and web application hardening. They can be very effective in preventing application security attacks, such as cross-site scripting, SQL injection, remote file inclusion, and others. Considering that most web sites today suffer from one problem or another, ModSecurity Handbook will help anyone who has a web site to run. The topics covered include: Installation and configuration of ModSecurity Logging of complete HTTP traffic Rule writing IP address, session, and user tracking Session management hardening Whitelisting, blacklisting, and IP reputation management Advanced blocking strategies Integration with other Apache modules Working with rule sets Virtual patching Performance considerations Content injection XML inspection Writing rules in Lua Extending ModSecurity in C The book is suitable for all reader levels: it contains step-by-step installation and configuration instructions for those just starting out, as well as detailed explanations of the internals and discussion of advanced techniques for seasoned users. A comprehensive reference manual is included in the second part of the book. Digital version of ModSecurity Handbook (PDF or EPUB) can be obtained directly from the author, at feistyduck.com.
ModSecurity中文使用手册
03-08
ModSecurity是一个WEB应用防火墙引擎，自身所提供的保护非常少。为了变得更有用些，ModSecurity必须启用规则配置。为了让用户能够充分利用ModSecurity离开方块，Breach Security, Inc.为ModSecurity 2.x提供了一套免费的认证规则集。和入侵检测及防御系统不一样，它们依赖于具体的签名过的已知漏洞，而这一核心规则却是为从网络应用中发现的不知名的漏洞提供一般的保护，通常这些漏洞大多数情况下都是自定义编码的。这一核心规则有了大量的评论，从而使得这些能够被用来做ModSecurity的部署向导。
ModSecurity Handbook使用手册
07-10
ModSecurity Handbook使用手册 英文原版的哦,免费奉献给大家 Modsecurity for Apache 用户手册 介绍 Modsecurity 是一个开放原代码的入侵检测和防护引擎,用来保护Web应用程序.他同样和可以当作一个Web应用程序防火墙.它嵌入到Web服务器中,担当一个强大的保护伞-保护来自应用程序的攻击. ModSecurity 和web服务器结合,增强web服务器抗攻击的能力.一些只得关注的功能说明: l 过滤请求:在web服务器或者其他模块获得handled之前, 按照原来的样子分析进入的请求.(严格的说,在这种嵌入式的操作里面,有一些操作在没有到达ModSecurity之前不可避免的进行了一些操作.) l Anti-evasion 技术: paths and parameters are normalised before analysis takes place in order to fight evasion techniques. l 了解HTTP协议:引擎获得了http的协议后,将进行非常详细的颗粒过滤.例如,它可以查看任何一个单独的参数,或者是制定的cookie值. l POST 有效负载分析:这个引擎能够截取传送的内容使用POST方法. l 审计记录:能够详细的记录每一个请求(包括POST)可以被用在法律分析上. l HTTPS 过滤:当这个引擎被嵌入到web服务器中后,可以有权访问解密后的数据请求. l 过滤被压缩的内容:和上面一样,安全引擎可以有权访问到被解压缩后的内容. ModSecurity 能够被用于发现攻击,或者是发现和阻止攻击.
WAF绕过思路整理(挺全)
weixin_50464560的博客
10-23 7163
转载至：https://harmoc.com/secnote/waf%E7%BB%95%E8%BF%87%E6%80%9D%E8%B7%AF%E6%95%B4%E7%90%86.html WAF绕过思路整理 <div class="entry-meta"> <ul class="post-meta"> <li><span class="posted-on"><time class="entry-date p
架构：CDN流量清洗。
孤芳不自赏
09-17 464
CDN是如何做到流量清洗的
安全观察：浅谈WAF几种常见的部署模式
weixin_30678821的博客
05-02 991
安全观察：浅谈WAF几种常见的部署模式摘要: 随着电子商务、网上银行、电子政务的盛行，WEB服务器承载的业务价值越来越高，WEB服务器所面临的安全威胁也随之增大，因此，针对WEB应用层的防御成为必然趋势，WAF（WebApplicationFirewall，WEB应用防火墙）产品开始流行起来。 WAF产品...随着电子商务、网上银行、电子政务的盛行，WEB服务器承载的业务价值越来越高，WEB服务器...
waf使用场景
Terisadeng的博客
08-16 1192
waf主要功能是用于流控，包括UA+IP策略的流控和IP流控两种，目前没有开发单独针对UA的流控。 流控可以真正应用级别或针对url的模糊匹配级别。 老的waf流控使用的是spark，只能配置周期为10s、30s、60s的监控，拦截不够及时，新的waf流控使用flink开发，可以做到秒级的监控和拦截。 配置准实时流控没有高级流控及时，如果有高级别的流控配置可以不用配置准实时流控。 waf有...
cdn架构waf架构
09-26
根据引用和引用的描述，CDN架构通常是由CDN（入口层）、WAF（应用层防护）、SLB（负载层）和ECS（源站）组成的。CDN作为入口层，负责加速和缓存静态内容；WAF作为应用层防护，用于检测和拦截恶意攻击；SLB作为负载层...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值