Python检查多个url能否正常运行

最新推荐文章于 2021-02-10 18:41:50 发布

小张奔小康

最新推荐文章于 2021-02-10 18:41:50 发布

阅读量1.3k

点赞数 4

分类专栏： Python学习文章标签： python

本文链接：https://blog.csdn.net/weixin_42294077/article/details/109385175

版权

Python学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文档介绍了一个个人项目，该项目涉及从OpenSources CSV文件中读取数据，并将URL列写入文本文件。之后，使用Python的urllib库检查URL的有效性，对每个URL尝试访问并打印出成功或失败的消息。代码中包含了错误处理以确保流程的连续性，同时感谢@程序猿全敏提供了思路支持。

摘要由CSDN通过智能技术生成

拖拉了2个月，个人项目终于开始动工，也在不断的学习和成长。手里拿到了一份OpenSources（github上直接搜索可以查到），感兴趣的朋友也可以下载csv文件进行练手。

import pandas as pd
import urllib.request
import time
#这里读取文件所在的位置
data =pd.read_csv('/Users/Macbook/Documents/GitHub/opensources/sources/sources.csv')
data[:30]#看一下前30行的数据是什么样的
#把pd中的一列写入fakenews.txt中
data['Unnamed: 0'].to_csv('fakenews.txt', sep='\t', index=False)


opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]
file = open('fakenews.txt')
lines = file.readlines()
checklist=[]
for line in lines:
    #这里注意一下：适用于爬虫和检测url有效性
    htp='http://'
    line = htp + line
    temp=line.replace('\n','')
    checklist.append(temp)
print(checklist)

print('测试：')
for a in checklist:
    tempUrl = a
    try :
        opener.open(tempUrl)
        print(tempUrl+'没问题')
        time.sleep(2)
    except urllib.error.URLError:
        print(tempUrl+'访问页面出错')
        time.sleep(2)
    # try except语句可以很好地帮助我们跳过错误，继续运行代码
    except Exception as e:
        print(a,e)
    time.sleep(1)
    #time模块能够避免被当作机器