urllib.error.HTTPError: HTTP Error 404: Not Found
这个错误表示你尝试访问的网页不存在。在你的代码中,这可能是因为提供的URL不正确,或者你尝试访问的页面在服务器上不存在了。
抓小说的时候,比如/218.html有时候下一章就跳到/300.html去了。在试过很多方法之后,用try还是最好的。用if也遇到过错误。
下面是我的代码,改好的,主要是excep里面的内容
try:
reg =request.Request(url,headers=head)
response = request.urlopen(reg)
html = response.read()
# 创建 request 对象
soup = BeautifulSoup(html, 'lxml')
soup_text = soup.find(name='div', attrs={"class": "m-post"})
return soup_text
#这里是正常的,就正常写
except HTTPError as e:#加一个这个报错判断
if e.code == 404:
return None
也可以再加一个,在excpet里面,如果不是404错误,则重新抛出异常
else:
raise
然后关于小说我是写了一个for循环去遍历每一页,如果那一页不存在就跳过。下面附上一个爬斗罗大陆的代码吧,可以作为参考。
#爬取单章节的文字内容
from urllib import request
from bs4 import BeautifulSoup
from urllib.error import HTTPError
#第6章的网址
def book(i):
url='https://dldl1.nsbuket.cc/xiaoshuo/douluodalu/{}.html'.format(i)
head={}
head['User-Agent']='https://dldl1.nsbuket.cc/xiaoshuo/douluodalu/{}.html'.format(i)
try:
reg =request.Request(url,headers=head)
response = request.urlopen(reg)
html = response.read()
# 创建 request 对象
soup = BeautifulSoup(html, 'lxml')
soup_text = soup.find(name='div', attrs={"class": "m-post"})
return soup_text
except HTTPError as e:
if e.code == 404:
return None
for i in range(1,20):
bo=book(i)
if bo is not None: # 检查book_text是否不是None
te=book(i).text
print(te) # 输出文本内容
else:
continue