scrapy实践二（selenium爬取腾讯漫画【失败】）

最新推荐文章于 2024-05-01 15:20:15 发布

丹尼尔•卡尼�

最新推荐文章于 2024-05-01 15:20:15 发布

阅读量606

点赞数

分类专栏： scrapy 文章标签： python selenium

本文链接：https://blog.csdn.net/qq_51598376/article/details/113843159

版权

本文记录了一次使用Scrapy和Selenium尝试爬取腾讯漫画的实践过程，包括新建Spider、分析网页、编写Selenium爬虫、集成Scrapy等步骤。在过程中遇到了图片URL无法直接获取的问题，推测可能需要分析接口来解决。总结指出Scrapy+Selenium的组合在速度和操作简化上的优势，但还存在一些待解决的技术问题。

摘要由CSDN通过智能技术生成

前言

一个月前曾学习过爬取腾讯动漫全站的示例代码，现在再用scrapy尝试

过程

新建spider爬虫

在这里插入图片描述

编写普通selenium爬虫爬取漫画

观察网页，确定目标

在这里插入图片描述
本次目标是爬取热门排行下的漫画

右键检查可以发现漫画标题和链接可以轻松获取（前提是用selenium）

爬取内容

主要目的是为了练习scrapy的selenium，方便起见，只爬取第一部漫画`的少量信息

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
dr