从顶点小说
https://www.booktxt.net/
下载小说的python代码,仅仅是一个可执行的代码,不具备输入目标URL的能力,需要直接更改源代码
需要提供的目标URL是小说的目录URL,例如 https://www.booktxt.net/5_5552/
下面是代码:
# -*- coding: utf-8 -*-
import os
import re
import time
import requests
import datetime
import threadpool
from bs4 import BeautifulSoup
resultURLs = list()
resultTitles = list()
haveSpiderURLs = list()
# 获取指定url的response对象
def get_request(url):
try:
in_page = requests.get(url, timeout=(3, 7))
# 如果content-type不为text/html就直接返回0
if re.findall('.*text/html.*', in_page.headers["Content-Type"]):
return in_