爬虫练手项目：获取豆瓣评分最高的电影并下载

农业引擎

于 2024-02-17 11:29:00 发布

阅读量989

点赞数 3

文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_37060371/article/details/136141922

版权

本文介绍了如何利用Python爬虫技术抓取豆瓣电影Top250列表，并将其数据保存到本地Excel文件中。通过导入相关库，定义请求网页和解析数据的函数，实现了数据的抓取与存储。最终，运行代码生成了名为“豆瓣最受欢迎的250部电影.csv”的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前期回顾

上篇博文我们学习了Python爬虫的四大库urllib ，requests ，BeautifulSoup以及selenium爬虫常用库介绍

学习了urllib与request的常见用法
学习了使用BeautifulSoup来解析网页以及使用selenium来驱动浏览器


# 我们导入了 web 驱动模块
from selenium import webdriver
# 接着我们创建了一个 Chrome 驱动
driver = webdriver.Chrome()
# 接着使用 get 方法打开百度
driver.get("https://www.baidu.com")
# 获取输入框并且往里面写入我们要搜索的内容
input = driver.find_element_by_css_selector('#kw')
input.send_keys("波多野结衣照片")
# 我们就获取到搜索这个按钮然后点击
button = driver.find_element_by_css_selector('#su')
button.click()

则是上次查看波多老师图片的代码，效果如下

抓取豆瓣电影并保存本地

我们来抓取一下豆瓣上排名前250的电影


import requests
from bs4 import BeautifulSoup
import xlwt
加群：

最低0.47元/天解锁文章