Python爬虫 爬取一本小说

需要用到requests和re etree这三个库

requests需要安装好环境

import requests
import re
from lxml import etree
 
def GetsourcePage():  #定义需要爬取入口
    url = "自行填写" #这里填你需要下载的小说地址
    headers = {
        'user-Agent':'自行填写'
        }
    #header需要从网址信息中找到user-Agent那一行信息 复制过来即可
    res = requests.get(url=url,headers=headers)
    res.encoding='utf-8'
    text=res.text
    res.close()
    return text
 
def Get_title_link(text): #获取文章的链接和标题
    find_title_links=re.compile("<dd><a href='(.*?)' >(.*?)</a></dd>",re.S) #这里用到了正则表达，前面是文章的内容链接地址，后面是标题
    title_links = re.finditer(find_title_links,text)
    for i in title_links:
        Get_content(i.groups())#传递参数
        #print(i.groups())
        print(i.groups()[1]+"爬取成功,已下载到giantfox文本当中")
 
def Get_content(LinkAndTitle):
    url = f"https://www.ibiquge.la//{LinkAndTitle[0]}"
    headers = {
        'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/103'
    }
    res = requests.get(url=url,headers=headers)
    res.encoding='utf-8'
    tree = etree.HTML(res.text)
    #print(tree)
    content = tree.xpath('//*[@id="content"]/text()') #用etree解析
    Content_save(content,LinkAndTitle[1])#把文章的内容和标题传到下一个函数
def Content_save(content,title): #下载文章
    with open("./giantfox.txt",mode='a+',encoding='utf-8') as fp:
        fp.write(title)
        fp.write('\n')
        for i in content:
            fp.write(i.strip())
            fp.write('\n')
        fp.write('\n')
if __name__ == '__main__':
    text = GetsourcePage()
    Get_title_link(text)
    Get_content()

附：如果需要下载其他的小说 修改网址和user-Agent接口即可