爬虫第3课 -豆瓣TOP250电影爬取

Algh206

于 2021-07-30 17:15:13 发布

阅读量898

点赞数 1

分类专栏：爬虫精进文章标签： python

本文链接：https://blog.csdn.net/Algh206/article/details/119251857

版权

本文介绍了如何使用Python爬虫抓取豆瓣Top250电影的序号、电影名、评分、推荐语和链接。通过分析需求，利用requests和BeautifulSoup库，结合for循环遍历多页数据。在遇到反爬虫问题时，通过添加headers模拟浏览器行为以避免被服务器阻止。

摘要由CSDN通过智能技术生成

第一步：分析问题，明确结果

问题需求就是把豆瓣TOP250里面的序号/电影名/评分/推荐语/链接都爬取下来，结果就是全部展示打印出来

第二步：思考要用到的知识

要爬取“序号/电影名/评分/推荐语/链接”这些信息，我们已经学习了用requests.get()获取数据，BeautifulSoup库解析数据，find()和find_all()提取数据，还有呢，观察下，一共10页，我们还要加个for循环对吧～

第三步：书写思路一代码

先爬取最小共同父级标签 <li 然后针对每一个父级标签，提取里面的序号/电影名/评分/推荐语/链接

import requests, random, bs4

for x in range(10):
    url = 'https://movie.douban.com/top250?start=' + str(x*25) + '&filter='
    res = requests.get(url)
    bs = bs4.BeautifulSoup(res.text, 'html.parser')
    bs = bs.find('ol', class_="grid_view")
    for titles in bs.find_all('li'):
        num = titles.find('em',class_="").text
        #查找序号
        title = titles.find('span', class_="title").text
        #查找电影名
        tes = titles.find('span',class_="inq").text
        #查找推荐语
        comment = titles.find('span',class_="rating_num").text
        #查找评分
        url_movie = titles<