蓝队应急响应-日志自动提取与分析-七牛logkit、观星、Gscan、Logon Tracer、360星图、Goaccess、ALB、Anolog

目录

 #日志自动提取——七牛Logkit&观星应急工具

1、七牛Logkit（适用Windows&Linux&Mac等）

2、观星应急工具（只适用Windows系统日志）

#日志自动分析——操作系统——Gscan&LogonTracer

1、Linux系统——Gscan

2、Windows系统——Logon Tracer

#日志自动分析——web——360星图&Goaccess&ALB&Anolog

1、360星图（只使用于IIS/Apache/Nginx）

2、GoAccess（只能看遭受CC攻击等，没法看攻击者进行什么web攻击）

3、ALB自写脚本（任何自定义日志格式字符串）

4、analog（任何自定义日志格式字符串）

 #日志自动提取——七牛Logkit&观星应急工具

1、七牛Logkit（适用Windows&Linux&Mac等）

GitHub - qiniu/logkit: Very powerful server agent for collecting & sending logs & metrics with an easy-to-use web console.

支持的数据源（各类日志，各个系统，各个应用等）

File: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。

Elasticsearch: 读取ElasticSearch中的数据。

MongoDB: 读取MongoDB中的数据。

MySQL: 读取MySQL中的数据。

MicroSoft SQL Server: 读取Microsoft SQL Server中的数据。

Postgre SQL: 读取 PostgreSQL 中的数据。

Kafka: 读取Kafka中的数据。

Redis: 读取Redis中的数据。

Socket: 读取tcp\udp\unixsocket协议中的数据。

Http: 作为 http 服务端，接受 POST 请求发送过来的数据。

Script: 支持执行脚本，并获得执行结果中的数据。

Snmp: 主动抓取 Snmp 服务中的数据。

有日志采集收集器，就是根据需求提取上面列举的应用日志，还有系统信息采集收集器，就是提系统的日志

2、观星应急工具（只适用Windows系统日志）

SglabIr_Collector是qax旗下的一款应急响应日志收集工具，能够快速收集服务器日志，

并自动打包，将收集的文件上传观心平台即可自动分析。

#日志自动分析——操作系统——Gscan&LogonTracer

1、Linux系统——Gscan

2、Windows系统——Logon Tracer

Windows系统安全事件日志取证工具：LogonTracer-腾讯云开发者社区-腾讯云 (tencent.com)

https://github.com/ffffffff0x/f8x(自动搭建项目)

https://github.com/JPCERTCC/LogonTracer（建议手工安装不要docker安装）

如何安装使用：

Home · JPCERTCC/LogonTracer Wiki · GitHub

不建议Docker安装：

Windows系统安全事件日志取证工具：LogonTracer - FreeBuf网络安全行业门户

docker pull jpcertcc/docker-logontracer

docker run

–detach

–publish=7474:7474 --publish=7687:7687 --publish=8080:8080

-e LTHOSTNAME=你的ip

jpcertcc/docker-logontracer

建议手工安装：

1.下载并解压neo4j：tar -zvxf neo4j-community-4.2.1-unix.tar

2.安装java11环境：sudo yum install java-11-openjdk -y

3.修改neo4j配置保证外部访问：

dbms.connector.bolt.listen_address=0.0.0.0:7687

dbms.connector.http.listen_address=0.0.0.0:7474

./bin/neo4j console &

4.下载LogonTracer并安装库：

git clone GitHub - JPCERTCC/LogonTracer: Investigate malicious Windows logon by visualizing and analyzing Windows event log

pip3 install -r requirements.txt

5.启动LogonTracer并导入日志文件分析

python3 logontracer.py -r -o [PORT] -u [USERNAME] -p [PASSWORD] -s [IP地址]

python3 logontracer.py -r -o 8080 -u neo4j -p xiaodi -s 47.98.99.126

python3 logontracer.py -e [EVTX文件] -z [时区] -u [用户名] -p [密码] -s [IP地址]

python3 logontracer.py -e Security.evtx -z -13 -u neo4j -p xiaodi -s 127.0.0.1

6.刷新访问LogonTracer-web_gui查看分析结果

踩坑：1、上传按钮不能上传 2.上传失败记得上传选模式对应值

#日志自动分析——web——360星图&Goaccess&ALB&Anolog

1、360星图（只使用于IIS/Apache/Nginx）

优点：可视化，还可以看到具体进行什么web攻击

缺点：只适用IIS、Apache、Nginx，只有.net和php语言的，没有java语言，适用范围小

修改配置文件中，路径修改为要进行分析的文件路径，其他根据需要更改

双击start.bat开始分析，分析后会将结果保存在result文件中

打开html文件可以看到分析报告，有哪个ip对web进行哪种攻击的详细说明

可疑访问

漏洞攻击

2、GoAccess（只能看遭受CC攻击等，没法看攻击者进行什么web攻击）

（任何自定义日志格式字符串）

GitHub - allinurl/goaccess: GoAccess is a real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser.

使用手册：

GoAccess - Manual Page

输出报告：（分析路径/home/wwwlogs/access.log的日志文件，形成报告放在当前目录下的aa.html文件中，路径根据需求更改）

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED > ./aa.html

实时监控：

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED --real-time-html

3、ALB自写脚本（任何自定义日志格式字符串）

python ALB.py -f F:\access.log -t 200

根据正则匹配对日志进行分析，得到result.txt文件，缺点：不是可视化的，看起来比较费劲

4、analog（任何自定义日志格式字符串）

GitHub - Testzero-wz/analog: 一款基于机器学习的Web日志统计分析与异常检测命令行工具

需要配置数据库，将日志分析结果放到数据库中，需要使用数据库语言进行筛选