分享一个应急响应web日志：access.log文件分析小工具

有时做应急响应的时候，需要提取web日志如access.log日志文件来分析系统遭受攻击的具体原因，由于开源的工具并不是很好用，所以自己用Python3写了一个简单的日志分析工具。

先介绍一下access.log日志

access.log日志文件记录了所有目标对Web服务器的访问请求，当有客户端对网站进行了访问时，access.log就会生成一条访问日志。

日志格式

一条访问日志一般分为7个字段

1.202.114.41 - - [09/Nov/2020:11:08:23 +0800] "GET / HTTP/1.1" 404 146 " https://www.baidu.com/link?url=jBUa" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0"

• 1.202.114.41 代表是谁访问的服务器

• [09/Nov/2020:11:08:23 +0800] 表示访问服务器时，服务器的时间。+0800表示服务器所处时区位于UTC之后的8小时。

• GET / HTTP/1.1 请求的方法和访问的路径

• 404 为服务器响应的状态码，此信息非常有价值，它揭示了请求是否成功以及失败。

• 146 表示服务器发送给客户端的字节数，但这个字节数，不包括响应头的信息，如果服务器没有向客户端发送任何内容，则该值为“-”

• https://www.baidu.com/link?url=jBUa 请求来源，用于表示浏览者在访问该页面之前所浏览的页面，只有从上一页面链接过来的请求才会有该项输出，如果是新开的页面则该项为空。上例中来源页面是从baidu转过来，即用户从baidu的那条链接中点击进来。

• "Mozilla/5.0 xx" 表示用户终端浏览器的UserAgent

常见web漏洞攻击日志

通过web日志可以判断目标为恶意请求还是正常请求。如下请求路径中携带危险字符

172.16.2.1 - - [09/Feb/2023:17:57:02 0800] "GET /sqli-labs-master/Less-1/?id=1' order by 3 -- HTTP/1.1" 200 721（SQL注入） 172.16.2.1 - - [09/Feb/2023:17:57:18 0800] "GET /sqli-labs-master/Less-1/?id=1' and sleep(5) -- HTTP/1.1" 200 670 （SQL注入） 172.16.2.1 - - [09/Feb/2023:18:01:19 0800] "GET /sqli-labs-master/Less-1/?id=<script>alert(11)</script> HTTP/1.1" 200 670 （xss攻击） ...

可以使用正则来匹配每条请求是否存在攻击行为,其中的指纹库finger可以根据需求随时进行扩充

log_tool.py

import re, os, argparse
from urllib.parse import unquote
from colorama import init,Fore,Back
init(autoreset=True)

finger = {
    "命令执行攻击":"/dev/tcp|call_user_func|preg_replace|proc_popen|popen|passthru|shell_exec|exec|/bin/bash|call_user_func_array|assert|eval|fputs|fopen|base64_decode|wget|curl.*ifs|uname|think.*invokefunction|whoami|ifconfig|ip add|echo|net user|phpinfo|jndi:|rmi:|\${",
    "sql注入攻击":"sleep|union|concat|information_schema|table_name|extractvalue|updatexml|order by|sqlmap|md5\(",
    "xss攻击":"<script|img src=|imgsrc=|document\.domain|prompt|alert\(|confirm\(|javascript:|Onerror|onclick",
    "webshell连接":"shell\.asp|shell\.jsp|shell\.jspx|shell\.php|cs\.php|tomcatwar\.jsp",
    "敏感文件攻击":"\.ssh/id_dsa|\.\./|\.\.|/etc/passwd|\.bash_profile|db\.sqlite|/win\.ini|wp-config\.php|\.htaccess|\?pwd|heapdump|/\.git"
}

data_list  = {
    '命令执行攻击':[],
    'sql注入攻击':[],
    'xss攻击':[],
    'webshell连接':[],
    '敏感文件攻击':[]
}

def get_parser():
    logo = r"""

      ______  _____________   ____  
     /  ___/ /  ___/\_  __ \_/ ___\ 
     \___ \  \___ \  |  | \/\  \___ 
    /____  >/____  > |__|    \___  >
         \/      \/              \/ 

                            Author: 山山而川
                            Blog  : https://chenchena.blog.csdn.net/?type=lately
    """
    parser = argparse.ArgumentParser(usage='python log_tool.py 日志文件')
    print(logo)
    print("正在分析日志信息，请稍等..."+"\n")
    p = parser.add_argument_group('log_tool.py的参数')
    p.add_argument("logName", type=str, help="为.log日志文件")
    args = parser.parse_args()
    return args

def extract(filename):
    with open(filename,'r',encoding='utf-8') as file:
        for line in file:                                #获取每一条日志信息
            line = unquote(line[:-1], 'utf-8')
            for k,v in finger.items():                     #遍历每一条指纹信息
                result = re.search(v,line,re.I)
                if result:
                    data = line + Fore.RED+"  匹配指纹[%s]"%result.group()
                    if k == "命令执行攻击":
                        rce = data_list.get('命令执行攻击')
                        rce.append(data)
                        break
                    if k == "sql注入攻击":
                        sql = data_list.get('sql注入攻击')
                        sql.append(data)
                        break
                    if k == "xss攻击":
                        xss = data_list.get('xss攻击')
                        xss.append(data)
                        break
                    if k == "webshell连接":
                        webshell = data_list.get('webshell连接')
                        webshell.append(data)
                        break
                    if k == "敏感文件攻击":
                        file = data_list.get('敏感文件攻击')
                        file.append(data)
                        break

    outfileName = filename.rsplit(".",1)[0] + "_result.txt"
    if os.path.exists(outfileName):
        os.remove(outfileName)
    for attack_name,attack_record in data_list.items():
        if attack_record:
            output = '疑似存在"%s":'%attack_name
            print(Fore.YELLOW+output)
            with open(outfileName,'a',encoding='utf-8') as f:
                f.write(output+"\n")
            for recode in attack_record:
                if "200" in recode:
                    print(recode + Fore.GREEN + " 响应码200")
                    with open(outfileName,'a',encoding='utf-8') as f:
                        f.write(recode + " 响应码200""\n")
                else:
                    print(recode)
                    with open(outfileName, 'a', encoding='utf-8') as f:
                        f.write(recode + "\n")
            with open(outfileName, 'a', encoding='utf-8') as f:
                f.write("\n")
            print("")
if __name__ == '__main__':
    filename = get_parser().logName
    extract(filename)

输出的同时会默认保存在本地