selenium抓取卡推漫画--狐妖小红娘改进版

最新推荐文章于 2022-04-08 15:01:59 发布

第一上士

最新推荐文章于 2022-04-08 15:01:59 发布

阅读量4.1k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/helloshijie_c/article/details/80041077

版权

本文介绍了如何利用selenium无驱动浏览器抓取狐妖小红娘漫画的流程，包括获取配置文件信息，抓取每话链接，提取特定话的漫画名称和图片链接，以及下载图片保存至本地。详细代码分为setting.conf配置文件和huyao.py实现部分。

摘要由CSDN通过智能技术生成

1、流程框架

1.1、获取配置文件信息

获取配置文件信息包括存储文件的电脑本地路径、上次抓取的漫画某话序号以及其已下载的图片序号数。

1.2、抓取漫画每一话的链接

利用selenium无驱动浏览器通过显式延时以及css selector搜索得到漫画每一话的链接

1.4、抓取某一话漫画的名称以及每个图片的链接

利用selenium驱动浏览器通过关键字获取某一话信息以及其每个图片的链接

1.5、下载每个图片并保存到电脑本地

通过requests获取的图片的内容保存到本地电脑上

2、代码

2.1、配置文件setting.conf

[setting]
store_path = f:\\huyao
start_comic_num = 31
comic_pic_num = 2

2.2、配置文件huyao.py

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support.select import Select
from selenium.common.exceptions import TimeoutException
import os
import time
import requests
import random
import configparser
from requests.exceptions