爬虫练手项目：获取豆瓣评分最高的电影并下载

bigBearPy

于 2019-12-02 21:46:14 发布

阅读量861

点赞数

文章标签：爬虫 python python 0基础爬虫项目

本文链接：https://blog.csdn.net/bigBearPy/article/details/103357753

版权

本文介绍了使用Python爬虫抓取豆瓣电影Top250的项目，回顾了爬虫常用库如requests、BeautifulSoup等，并详细讲解了如何将抓取的数据保存到本地Excel文件。

摘要由CSDN通过智能技术生成

前期回顾

上篇博文我们学习了Python爬虫的四大库urllib ，requests ，BeautifulSoup以及selenium
爬虫常用库介绍

学习了urllib与request的常见用法
学习了使用BeautifulSoup来解析网页以及使用selenium来驱动浏览器


# 我们导入了 web 驱动模块
from selenium import webdriver
# 接着我们创建了一个 Chrome 驱动
driver = webdriver.Chrome()
# 接着使用 get 方法打开百度
driver.get("https://www.baidu.com")
# 获取输入框并且往里面写入我们要搜索的内容
input = driver.find_element_by_css_selector('#kw')
input.send_keys("波多野结衣照片")
# 我们就获取到搜索这个按钮然后点击
button = driver.find_element_by_css_selector('#su')
button.click()

则是上次查看波多老师图片的代码，效果如下