使用requests库豆瓣电影爬虫

 

import requests
from lxml import etree

# 1，将目标网站的页面抓取下来
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    , 'Referer': 'https://movie.douban.com'
}

url = 'https://movie.douban.com/cinema/nowplaying/beijing/'
response = requests.get(url, headers=headers)
text = response.text
# response.text:返回的是一个经过解码后的字符串，是str(unicode)类型
# response.content:返回的是一个原生的字符串，就是从网页上抓取下来的，没有经过处理
# 的字符串，是bytes类型

# 2，将抓取下来的数据根据一定的规则进行提取
html = etree.HTML(text)
# 获取的是两个列表，只取出“正在上映”的第一个列表就行了
ul = html.xpath("//ul[@class='lists']")[0]
# print(etree.tostring(ul, encoding='utf-8').decode('utf-8'))
lis = ul.xpath('./li')

movies = []

for li in lis:
    title = li.xpath("@data-title")[0]
    # print(title)
    score = li.xpath("@data-score")[0]
    # print(score)
    duration = li.xpath("@data-duration")[0]
    # print(duration)
    region = li.xpath("@data-region")[0]
    # print(region)
    actors = li.xpath("@data-actors")[0]
    # print(actors)
    thumbnail = li.xpath(".//img/@src")[0]
    # print(thumbnail)
    movie = {
        'title': title,
        'score': score,
        'duration': duration,
        'region': region,
        'actors': actors,
        'thumbnail': thumbnail
    }
    movies.append(movie)
print(movies)

[{'title': '一出好戏', 'score': '7.4', 'duration': '134分钟', 'region': '中国大陆', 'actors': '黄渤 / 舒淇 / 王宝强', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2529571873.jpg'}, {'title': '巨齿鲨', 'score': '6.1', 'duration': '115分钟(中国大陆)', 'region': '美国 中国大陆 香港', 'actors': '杰森·斯坦森 / 李冰冰 / 雷恩·威尔森', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530572643.jpg'}, {'title': '西虹市首富', 'score': '6.7', 'duration': '118分钟', 'region': '中国大陆', 'actors': '沈腾 / 宋芸桦 / 张一鸣', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2529206747.jpg'}, {'title': '爱情公寓', 'score': '2.8', 'duration': '117分钟', 'region': '中国大陆', 'actors': '陈赫 / 袁弘 / 娄艺潇', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2521648155.jpg'}, {'title': '小偷家族', 'score': '8.7', 'duration': '117分钟(中国大陆)', 'region': '日本', 'actors': '中川雅也 / 安藤樱 / 松冈茉优', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530599636.jpg'}, {'title': '神秘世界历险记4', 'score': '5.4', 'duration': '85分钟', 'region': '中国大陆', 'actors': '阎么么 / 赵一博 / 张磊', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2528380655.jpg'}, {'title': '狄仁杰之四大天王', 'score': '6.5', 'duration': '132分钟', 'region': '中国大陆 香港', 'actors': '赵又廷 / 冯绍峰 / 林更新', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2526405034.jpg'}, {'title': '风语咒', 'score': '7.0', 'duration': '105分钟', 'region': '中国大陆', 'actors': '路知行 / 阎萌萌 / 褚珺', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530872223.jpg'}, {'title': '我不是药神', 'score': '9.0', 'duration': '117分钟', 'region': '中国大陆', 'actors': '徐峥 / 王传君 / 周一围', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2519070834.jpg'}, {'title': '李保国', 'score': '0', 'duration': '100分钟', 'region': '中国大陆', 'actors': '林永健 / 颜丹晨 / 尤勇', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530569123.jpg'}, {'title': '摩天营救', 'score': '6.5', 'duration': '102分钟', 'region': '美国', 'actors': '道恩·强森 / 内芙·坎贝尔 / 黄经汉', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2527484082.jpg'}, {'title': '旅行吧！井底之蛙', 'score': '0', 'duration': '78分钟', 'region': '中国大陆', 'actors': '王雪沁 / 吴凡 / 周宗禹', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530181034.jpg'}, {'title': '肆式青春', 'score': '5.4', 'duration': '74分钟', 'region': '日本 中国大陆', 'actors': '坂泰斗 / 寿美菜子 / 白石晴香', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2526429256.jpg'}, {'title': '的士速递5', 'score': '5.6', 'duration': '100分钟(中国大陆)', 'region': '法国', 'actors': '弗兰克·盖思堂彼得 / 马利克·班泽拉 / 伯纳尔·法西', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2529136453.jpg'}, {'title': '最后的棒棒', 'score': '0', 'duration': '99分钟', 'region': '中国大陆', 'actors': '', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2528959166.jpg'}, {'title': '妈妈咪呀2', 'score': '7.4', 'duration': '114分钟', 'region': '英国 美国', 'actors': '莉莉·詹姆斯 / 阿曼达·塞弗里德 / 朱丽·沃特斯', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2528272481.jpg'}, {'title': '解码游戏', 'score': '4.2', 'duration': '99分钟', 'region': '中国大陆 香港 美国', 'actors': '韩庚 / 凤小岳 / 李媛', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2529787833.jpg'}, {'title': '神奇马戏团之动物饼干', 'score': '5.6', 'duration': '94分钟', 'region': '美国 西班牙 中国大陆 韩国 香港', 'actors': '艾米莉·布朗特 / 约翰·卡拉辛斯基 / 伊恩·麦克莱恩', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2528298973.jpg'}, {'title': '超人总动员2', 'score': '8.1', 'duration': '126分钟(中国大陆)', 'region': '美国', 'actors': '格雷格·T·尼尔森 / 霍利·亨特 / 莎拉·沃威尔', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2522880251.jpg'}, {'title': '新大头儿子和小头爸爸3：俄罗斯奇遇记', 'score': '5.0', 'duration': '80分钟', 'region': '中国大陆', 'actors': '刘纯燕 / 董浩 / 鞠萍', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2522820714.jpg'}, {'title': '快把我哥带走', 'score': '0', 'duration': '115分钟', 'region': '中国大陆', 'actors': '张子枫 / 彭昱畅 / 赵今麦', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2531080870.jpg'}, {'title': '浴血广昌', 'score': '5.8', 'duration': '100分钟', 'region': '中国大陆', 'actors': '卢秋宏 / 何达 / 郑昊', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2529260597.jpg'}, {'title': '美食大冒险之英雄烩', 'score': '0', 'duration': '98分钟', 'region': '中国大陆', 'actors': '', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2530385279.jpg'}, {'title': '淘气大侦探', 'score': '7.1', 'duration': '86分钟', 'region': '英国 美国', 'actors': '詹姆斯·麦卡沃伊 / 艾米莉·布朗特 / 约翰尼·德普', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2527551382.jpg'}, {'title': '北方一片苍茫', 'score': '6.8', 'duration': '113分钟(中国大陆)', 'region': '中国大陆', 'actors': '田天 / 韩建玲 / 赵树林', 'thumbnail': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2527454845.jpg'}, {'title': '动物世界', 'score': '7.3', 'duration': '132分钟', 'region': '中国大陆', 'actors': '李易峰 / 迈克尔·道格拉斯 / 周冬雨', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2525528688.jpg'}, {'title': '三十那年', 'score': '0', 'duration': '92分钟', 'region': '中国大陆', 'actors': '尤天翔 / 张颖冰 / 秦汉擂', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2529362957.jpg'}, {'title': '信仰者', 'score': '0', 'duration': '104分钟', 'region': '中国大陆', 'actors': '黄少祺 / 王力可 / 赵毅', 'thumbnail': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2530153907.jpg'}]