在爬虫过程中我们难免会出现很多错误,但是对于一些不是很重要或者你想快速知道出错的原因,我们可以利用异常处理
首先用一段代码运算一下:
例如我们想访问多个网址,但是我们不想中途停下来
import urllib.request as request
list = [
"https://www.baidu.com/",
"https://www.baidu.com/",
"http://halihkawnkfhgjkfgkfkjhfkawhknh22.com/",#这是我乱打的一个网址,所以访问不了
"https://www.baidu.com/",
]
i=0
for url in list:#对列表元素循环
req = request.urlopen(url)
i+=1
print('第',i,'请求成功!')
这时它就偏偏出了错,而且停止运行了,
这时候异常处理就派上大用场了
import urllib.request as request
list = [
"https://www.baidu.com/",
"https://www.baidu.com/",
"http://halihkawnkfhgjkfgkfkjhfkawhknh22.com/",
"https://www.baidu.com/",
]
i=0
for url in list:
try:
req = request.urlopen(url)
i+=1
print('第', i, '请求成功!')
except Exception as e:#注意异常处理的类型很多,这里用最常见的一种
print(e)