小说爬取

目标地址

# 获取小说页面html
# 找出小说名并以他创建文件
# 找出每章 url 的变化（拼接）  
# 由获取的url（完整）再次发送请求
# 此时获取的 html 中包含有 章节的名字  和 内容
# 进行 数据清洗 工作（去除不需要的符号）
#  将章节目录  内容  分别写入，已经创建好的txt中
import requests
import re
link = 'http://www.39shubao.com/files/article/html/116/116246/'
headers= {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}
r = requests.get(link,headers=headers)
r.encoding = 'utf-8'
#print(r.status_code)



html = r.text
# 找出小说名称
title = re.