Python爬虫：爬取豆瓣最新上映电影信息

话不多说，上才艺

#-coding:utf-8
# author: 钟子龙
import requests
from  lxml import html

etree= html.etree
# 1.将目标网站上的页面抓取下来
# 1.1设置请求头
headers= {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36',
    'Referer': 'https://movie.douban.com/'
}
# 1.2设置网址
url = 'https://movie.douban.com/cinema/nowplaying/changsha/'
response= requests.get(url,headers=headers)
# 返回解码后字符串，它是根据自己猜测的编码方式去解码，有时候没有预期的效果
# print(response.text)
# 直接网页抓取的，没有经过处理
# print(response.content)
text = response.text


# 2.将抓取下来的数据根据一定的规则进行提取
htmlElement = etree.HTML(text)
# 2.1分析源代码发现影片信息都在li标签里面，海报在a标签里
# 2.2获取ul标签class为lists的所有标签，其中有两个，一个是即将上映的ul，一个是正在上映的ul，这里只爬取正在上映的ul
ul= htmlElement.xpath("//ul[@class='lists']")[1]
# print(etree.tostring(ul,encoding='utf-8').decode("utf-8"))
# 2.3获取所有li标签
lis= ul.xpath("./li")
movies = []
for li in lis:
    # print(etree.tostring(li,encoding='utf-8').decode("utf-8"))
    # 电影名
    title = li.xpath("@data-title")[0]
    # 评分
    score = li.xpath("@data-score")[0]
    # 时长
    duration = li.xpath("@data-duration")[0]
    # 国家
    region = li.xpath("@data-region")[0]
    # 导演
    director = li.xpath("@data-director")[0]
    # 演员
    actors = li.xpath("@data-actors")[0]
    # 获取海报url
    thumbnail = li.xpath(".//img/@src")[0]
    movie = {
        'title': title,
        'score': score,
        'duration':duration,
        'region': region,
        'director': director,
        'actors': actors,
        'thumbnail':thumbnail
    }
    movies.append(movie)

print(movies)