日志分析系统介绍

在应急响应中经常会从日志中看到一些常见的攻击行为，在渗透测试中也会利用一些攻击工具，为了能从日志中获取更多有价值的信息，来及时确定攻击来源。日志记录格式通常为，访问的ip地址，时间，访问路径，服务器响应状态，返回数据大小。

从安全来看：安全团队提取日志分析主要是为了发现未知安全事件、对已知的安全事件进行溯源分析。还有另外一个很重要的目的是国家层面的监管合规要求。
从IT研发来看：企业内部的非安全技术团队做日志分析主要也是为了发现位置问题、分析已知问题，主要集中在：系统监控、APM(APM包含了研发团队关注的所有监控项)。

从业务来看：业务团队对于日志分析的需求，更多集中在风险控制、运营推广、用户画像、网站画像等方面。

基于Openresty+的WEB防护系统

系统构成图

日志分析的内部实现要比图上画的复杂，图只是将日志中心的基本服务部署画出来，有些mongo数据库和kafka队列没有体现在图上。日志中心分析系统的核心存储中心就是ES集群，还有管理数据存储的数据管理结点服务， 到管理节点使用的也是负载均衡技术，因为管理结点有一个以上。并且，日志分析系统，提供数据检索的WEB服务，与WEB服务相接关联的业务：
1.日志审计系统。
2.可视化大屏幕。
3.自动化分析服务。

安全日志处理业务