python 爬取腾讯漫画

先上个爬取的结果图

最后的结果为每部漫画按章节保存

 

 运行环境

IDE VS2019

Python3.7

Chrome、ChromeDriver

Chrome和ChromeDriver的版本需要相互对应

先上代码，代码非常简短，包含空行也才50行，多亏了python强大的库

import os
import time
import requests
from selenium import webdriver
from lxml import etree

def getChapterUrl(url):
    headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
        }
    part_url = "http://ac.qq.com"
    res = requests.get(url, headers=headers)
    html=res.content.decode()
    el = etree.HTML(html)
    li_list = el.xpath('//*