Python3实现批量网址的http响应状态码检测

1、上代码:

import signal
import time
import sys
import pandas as pd
from gevent import monkey
import requests

# 取消线程阻塞
monkey.patch_all()
import gevent
import urllib

df = pd.read_csv("url_list.csv", encoding="GBK")
df2 = pd.read_csv("url_list.csv", encoding="GBK")
df2['result'] = "error"
print(df2)
url_lists = df["url_list"]
print("url_lists:", url_lists)


def testNoHttpResponseException(url):
    print('GET: %s' % url)
    for url in url_lists:
        print("url:", url)
        try:
            responsecode = urllib.request.urlopen(url, timeout=1).getcode()
            print("responsecode:", responsecode)
            df2.ix[df2['url_list'] == url, 'result'] = responsecode
        except:
            pass
            continue
        gevent.sleep(3)


# gevent.joinall添加所有的协程
# gevent.spawn创建一个协程testNoHttpResponseException,第二个参数url_list是传入程序的参数
gevent.joinall([gevent.spawn(testNoHttpResponseException, url_lists)])
df2.to_csv("checkresult.csv", encoding="GBK", index=False)

2、url_list.csv模板
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值