从顶点小说下载小说的python代码

从顶点小说

https://www.booktxt.net/

下载小说的python代码，仅仅是一个可执行的代码，不具备输入目标URL的能力，需要直接更改源代码

需要提供的目标URL是小说的目录URL，例如 https://www.booktxt.net/5_5552/

 

下面是代码：

# -*- coding: utf-8 -*-
import os
import re
import time
import requests
import datetime
import threadpool
from bs4 import BeautifulSoup


resultURLs = list()
resultTitles = list()
haveSpiderURLs = list()


# 获取指定url的response对象
def get_request(url):
    try:
        in_page = requests.get(url, timeout=(3, 7))
        # 如果content-type不为text/html就直接返回0
        if re.findall('.*text/html.*', in_page.headers["Content-Type"]):
            return in_