网络爬虫错误

在使用urllib中的request方法时，系统返回HTTPerror，但是没有给出错误代码

重新写了一段代码，用来显示具体错误：

# 异常处理
from urllib import request,error
try:
    response = urllib.request.urlopen('https://movie.douban.com/top250')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers,sep='\n')  # 使用httperror判断

这里访问的是豆瓣，结果返回错误418，查了下是反爬虫的。

处理办法：不是一次请求整个网页，而是加入header选项，只读取头部，如下：

第二个问题是，如何读取多页的信息，此时通过观察，得知douban的页面链接中包含了页码信息，用for循环配合页码即可：