2024年Scrapy+Selenium项目实战--携程旅游信息爬虫

简介

携程（you.ctrip.com）是一个提供旅游信息的网站，但它的部分内容可能是动态加载的，难以直接通过Scrapy获取。这时就需要借助Selenium这样的工具，模拟浏览器行为进行数据的获取和处理。

工具准备

• Scrapy： 一个用于爬取网站并提取结构化数据的强大框架。
• Selenium： 一个自动化测试工具，可以模拟用户操作浏览器的行为。
• ChromeDriver： 作为Selenium WebDriver的一部分，用于驱动Chrome浏览器进行自动化测试。 具体下载地址和环境配置可参考： 使用Selenium和bs4进行Web数据爬取和自动化(爬取掘金首页文章列表) - 掘金 (juejin.cn) - 掘金 (juejin.cn)")

实现步骤

1. 设置Scrapy项目： 创建Scrapy项目并配置爬虫。
2. 编写爬虫： 使用Scrapy的Spider编写爬虫，设置起始URL和数据提取规则。
3. 设置Selenium中间件： 创建Selenium中间件，用于处理需要动态加载的页面内容。
4. 利用Selenium模拟浏览器行为： 在Selenium中间件中，使用ChromeDriver启动浏览器，模拟点击、等待页面加载等操作。
5. 处理页面内容： 利用Selenium获取到的页面内容，提取需要的信息并返回给Spider。
6. 数据存储或处理： Spider获取到数据后，可以选择存储到数据库或进行其他处理。

代码实现

爬虫部分

1. 爬虫启动：

   • 爬虫启动后，读取Excel文件中的景区名称作为搜索关键词。
   • 构建对应的携程搜索链接，并发起Request请求。

def start_requests(self):
    df = pd.read_excel("D:\code\Scrapy\scrapy_tour\A级景区（按省份）.xlsx")
    scenic_namelist = df['景区名称']
    dflen = len(scenic_namelist)
    for i in range(10641, dflen):
        key = scenic_namelist[i]
        newurl = '' + key
        yield Request(url=newurl, meta={'use_selenium': True, 'title': key, 'id': i, 'closeid': dflen - 1})

2.Selenium配置：

1. 通过Selenium