python爬虫——爬取豆瓣top250电影信息

python爬虫——爬取豆瓣top250电影信息

获取豆瓣top250电影信息，包括电影海报链接、详情链接、中/外文名、评分、评价人数、一句话评价等

环境

• 系统 ：macOS Catalina -V 10.15.4
• IDE ：Vscode -V 1.46.0
• 语言 ：Python -V 3.7.7
• 库 ：urllib、bs4、re、ssl、xlwt
  非自带包都是使用如下语句安装：

pip install package-name

实现步骤

URL：https://movie.douban.com/top250
对网页进行简单分析发现，一共有10个页，每个页面有25部电影的信息。
各页面的URL构成为

https://movie.douban.com/top250？start=i（i for i in range(10))

构造源码请求函数

伪装请求头，获取目标网页源码网页获取

import urllib.request, urllib.error 
import ssl
def askURL(url):
	'''
	用于请求网页源码
	'''

	#部分网站会根据请求头中的User-Agent内容进行判断，如果是爬虫则限制访问，所以要对请求头进行伪装，模拟浏览器访问，根据需要还可添加其它头部信息
	#User-Agent信息可以用Chrome打开网页，按F12打开Web检查器，在Network栏目下的Headers中可找到
    head = {
   }
    head["User-Agent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"	
    request = urllib.request.Request(url, headers = head)

    html = ""	#用于接收网页的源码信息
    
    context = ssl._create_unverified_context() 
	'''
	当使用urllib打开https的链接时，会检验一次ssl证书.
	而当目标网站使用的是自签名证书时，就会抛出urllib2.URLError的错误.
	解决办法一：ssl._create_default_https_context = ssl._create_unverified_context 全局取消证书验证
	解决办法二：创建未验证的上下文，在url中传入上下文参数 context = ssl._create_unverified_context()
	'''

    try:
        response = urllib.request.urlopen(request, context= context)
        html = response.read().decode()	#read()函数获取到的是bytes类型的数据，decode()用于将其解码
        
    except urllib.error.HTTPError as e:
        if hasattr(e, "code"): #hasattr()判断一个对象是否含有某种属性
            print(e.code)	#code 为http状态码
        if hasattr