第10篇：信息收集~资产监控拓展

最新推荐文章于 2023-06-24 11:08:57 发布

廖一语山

最新推荐文章于 2023-06-24 11:08:57 发布

阅读量1.8k

点赞数

分类专栏：小迪安全文章标签：爬虫 python 网络安全

本文链接：https://blog.csdn.net/qq_42438245/article/details/120239753

版权

小迪安全专栏收录该内容

25 篇文章 58 订阅

订阅专栏

正文

1.1.Github监控

便于收集整理最新exp或poc
便于发现相关测试目标的资产

概念

poc和exp (全称Exploit)的区别就是，poc是漏洞验证程序，exp是漏洞利用程序。

网络爬虫，找github上新发布的一些相关资源

爬取关键词

CVE-2020（自定义年份）
ctcms

python注意

python3使用pip安装库函数（requests、pandas）
爬虫嘛，可能就被锁定ip了

使用代码：注意缩进

#Title: wechat push CVE-2020
#Date: 2020-5-9
#Exploit Author: weixiao9188
#Version: 4.0
#Tested on: Linux,windows
#cd /root/sh/git/ && nohup python3 /root/sh/git/git.py &
#coding:UTF-8
import requests
import json
import time
import os
import pandas as pd
time_sleep = 60 #每隔20秒爬取一次
while(True):
	headers1 = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"}
	#判断文件是否存在
	datas = []
	response1=None
	response2=None
	if os.path.exists("olddata.csv"):
	#如果文件存在则每次爬取10个
		df = pd.read_csv("olddata.csv", header=None)
		datas = df.where(df.notnull(),None).values.tolist()#将提取出来的数据中的nan转化为None
		requests.packages.urllib3.disable_warnings()
		response1 = requests.get(url="https://api.github.com/search/repositories?q=CVE-2020&sort=updated&per_page=10",headers=headers1,verify=False)
		response2 = requests.get(url="https://api.github.com/search/repositories?q=RCE&ssort=updated&per_page=10",headers=headers1,verify=False)
	else:
	#不存在爬取全部
		datas = []
		requests.packages.urllib3.disable_warnings()
		response1 = requests.get(url="https://api.github.com/search/repositories?q=CVE-2020&sort=updated&order=desc",headers=headers1,verify=False)
		response2 = requests.get(url="https://api.github.com/search/repositories?q=RCE&ssort=updated&order=desc",headers=headers1,verify=False)
	data1 = json.loads(response1.text)
	data2 = json.loads(response2.text)
	for j in [data1["items"],data2["items"]]:
		for i in j:
			s = {"name":i['name'],"html":i['html_url'],"description":i['description']}
			s1 =[i['name'],i['html_url'],i['description']]
			if s1 not in datas:
				print(s1)

可以绑定 Server酱消息推送