python 做网站的工具_python 制作网站筛选工具(附源码)

一．思路

1.整体思路

2.代码思路

思路很简单，就是用python发送请求，提取响应体中的状态码加以判断，最后保存到本地txt文本中，以实现网站信息的筛选。

二．撰写代码

import time

import requests

import urllib3

from concurrent.futures import ThreadPoolExecutor

#取源文件中的网址并且去重

def get_url(old_file):

with open(old_file,'r',encoding='gbk')as f:

urllist=list(set(f.readlines()))

return urllist

#主体，发送请求，通过异常捕获判断能否响应，通过状态码判断网闸能否正常访问

def request(url):

url=url.strip()

#构造请求头信息

headers = {

'Connection': 'keep-alive',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'

}

try:

#忽略证书安全警告

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

r=requests.get(url,headers=headers,timeout=10,verify=False)#timeout设置超时时间，我设置了10s，使用verif=False忽略sll认证

if r.status_code==200:

cost_time=r.elapsed.total_seconds()#计算访问耗时

print(url,' ----->【能访问】访问耗时:\033[35;46m{:.2f}s\033[0m'.format(cost_time))

can_access_save_to_txt(url)

else:

print(url,' ----->不能访问,状态码为:\033[31;44m{}\033[0m'.format(r.status_code))

except:

print(url, ' ----->不能访问,原因：\033[31;44m不能响应\033[0m')

#将能访问的网址保存到new_file

def can_access_save_to_txt(result):

result=result.strip()

#筛选出不是.apk的url,此判断可以不加

if not result.endswith('.apk'):

with open(aim_file,'a')as f:

f.write(result+'\n')

def main():

s_time=time.time()

#使用线程池，创建四条线程。

pool=ThreadPoolExecutor(max_workers=4)

urls=get_url(orign_file)

for url in urls:

pool.submit(request,url)

pool.shutdown()

e_time=time.time()

sum_time=int(e_time-s_time)

if sum_time>60:

print(f'\033[38;46m 程序正常执行结束退出！共耗时:【{sum_time//60}分钟】 \033[0m')

elif sum_time/60>1:

print(f'\033[38;46m 程序正常执行结束退出！共耗时:【{sum_time//60*60}小时】 \033[0m')

if __name__ == '__main__':

orign_file=r'E:\test.txt'

#筛选后能访问的网址

aim_file="./data/test_can_access.txt"

#筛选后不能访问的网址

main()

三．运行结果

四．总结

本次使用python撰写了一款筛选网站的小工具，将网站大致分为能访问和不能访问两类，将能够访问且状态码为200的网站存储到了文件中，最终实现了网站的筛选。思路、代码方面有什么不足欢迎各位大佬指正、批评！

以上就是python 制作网站筛选工具(附源码)的详细内容，更多关于python 制作网站筛选工具的资料请关注脚本之家其它相关文章！