crawlergo带cookie爬虫

最新推荐文章于 2024-11-15 14:43:32 发布

j448998943

最新推荐文章于 2024-11-15 14:43:32 发布

阅读量489

点赞数

文章标签：爬虫 chrome python

本文链接：https://blog.csdn.net/j448998943/article/details/129025779

版权

该Python脚本演示了如何使用crawlergo工具进行Cookie扫描，同时通过--ignore-url-keywords参数排除特定关键字以避免注销请求。它利用subprocess模块调用命令行，传递自定义头部信息，包括Cookie，目标URL为testphp.vulnweb.com。

摘要由CSDN通过智能技术生成

#!/usr/bin/python3

coding: utf-8

import simplejson
import subprocess
“”"
添加Cookie扫描示例

命令行调用时：
./crawlergo -c /home/test/chrome-linux/chrome -o json --ignore-url-keywords quit,exit,zhuxiao --custom-headers "{\"Cookie\": \"crawlergo=Cool\"}"
使用 --ignore-url-keywords 添加你想要的排除的关键字，避免访问注销请求

“”"

def main():
target = “http://testphp.vulnweb.com/”
headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
“Chrome/74.0.3945.0 Safari/537.36”,
“Cookie”: “crawlergo=Cool”
}
cmd = [”./crawlergo", “-c”, “/home/test/chrome-linux/chrome”,
“-o”, “json”, “–ignore-url-keywords”, “quit,exit,zhuxiao”, “–custom-headers”, simplejson.dumps(headers),
target]

rsp = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
output, error = rsp.communicate()

result = simplejson.loads(output.decode().split("--[Mission Complete]--")[1])
req_list = result["req_list"]
for each in req_list:
    print(each)

if name == ‘main’:
main()