【应急响应】日志自动提取分析项目&ELK&Logkit&LogonTracer&Anolog等

日志自动提取-七牛Logkit&观星应急工具

1、七牛Logkit：(Windows&Linux&Mac等)
https://github.com/qiniu/logkit/
支持的数据源（各类日志，各个系统，各个应用等）
File: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。

Elasticsearch: 读取ElasticSearch中的数据。
MongoDB: 读取MongoDB中的数据。
MySQL: 读取MySQL中的数据。
MicroSoft SQL Server: 读取Microsoft SQL Server中的数据。
Postgre SQL: 读取 PostgreSQL 中的数据。
Kafka: 读取Kafka中的数据。
Redis: 读取Redis中的数据。
Socket: 读取tcp\udp\unixsocket协议中的数据。
Http: 作为 http 服务端，接受 POST 请求发送过来的数据。
Script: 支持执行脚本，并获得执行结果中的数据。
Snmp: 主动抓取 Snmp 服务中的数据。

2、观星应急工具：（Windows系统日志）
SglabIr_Collector是qax旗下的一款应急响应日志收集工具，能够快速收集服务器日志，
并自动打包，将收集的文件上传观心平台即可自动分析。

日志自动分析-操作系统-Gscan&LogonTracer

1、Linux 系统 - GScan
https://github.com/grayddq/GScan

2、Windows 系统 -LogonTracer
https://github.com/ffffffff0x/f8x(自动搭建项目)
https://github.com/JPCERTCC/LogonTracer（建议手工安装不要docker安装）
如何安装使用：
https://github.com/JPCERTCC/LogonTracer/wiki/
不建议Docker安装：
https://www.freebuf.com/sectool/219786.html
docker pull jpcertcc/docker-logontracer
docker run
–detach
–publish=7474:7474 --publish=7687:7687 --publish=8080:8080
-e LTHOSTNAME=你的ip
jpcertcc/docker-logontracer
建议手工安装：
1.下载并解压neo4j：tar -zvxf neo4j-community-4.2.1-unix.tar
2.安装java11环境：sudo yum install java-11-openjdk -y
3.修改neo4j配置保证外部访问：
dbms.connector.bolt.listen_address=0.0.0.0:7687
dbms.connector.http.listen_address=0.0.0.0:7474
./bin/neo4j console &
4.下载LogonTracer并安装库：
git clone https://github.com/JPCERTCC/LogonTracer.git
pip3 install -r requirements.txt
5.启动LogonTracer并导入日志文件分析
python3 logontracer.py -r -o [PORT] -u [USERNAME] -p [PASSWORD] -s [IP地址]
python3 logontracer.py -r -o 8080 -u neo4j -p xiaodi -s 47.98.99.126
python3 logontracer.py -e [EVTX文件] -z [时区] -u [用户名] -p [密码] -s [IP地址]
python3 logontracer.py -e Security.evtx -z -13 -u neo4j -p xiaodi -s 127.0.0.1
6.刷新访问LogonTracer-web_gui查看分析结果
踩坑：1、上传按钮不能上传 2.上传失败记得上传选模式对应值

日志自动分析-Web-360星图&Goaccess&ALB&Anolog

1、Web - 360星图（IIS/Apache/Nginx）
这里以我之前搭的Apache服务器日志为例

安全分析报告

不知道这是哪位hxd扫的

常规分析报告

可疑访问

漏洞攻击

2、Web - GoAccess（任何自定义日志格式字符串）
https://github.com/allinurl/goaccess
使用手册：
https://goaccess.io/man
输出报告：

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED > ./aa.html

实时监控：

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED --real-time-html > /home/wwwroot/default/x.html

3、Web - 自写脚本（任何自定义日志格式字符串）
参考：https://github.com/Lucifer1993/ALB

python ALB.py -f F:\access.log -t 200

参考：机器语言
4、Web -机器语言（任何自定义日志格式字符串）
https://github.com/Testzero-wz/analog
https://analog.testzero-wz.com/

日志综合平台-Elasisearch+Filebeat+Redis+Logstash+Kibana