python自动获取小说工具

python学习成功展示，都是跟着老师学的，记录下来吧。

项目结构：

main.py文件不必多言！！！！

1.xiaoshuo1.py是获取某一篇文件并保存。

# 获取第一章小说内容的操作

# 怎么发送请求，使用这个包
import requests
# 在标签或者字符串中提取文字的包
from lxml import etree


# 发送请求
url = 'https://dl.131437.xyz/book/douluodalu1/1.html'
# 伪装自己的身份，假装是以一个浏览器的用户去访问网站，而不是通过代码访问。所以在请求时，我们需要获取浏览器请求的headers中的User-Agent
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'
}
# get请求
resp = requests.get(url,headers = headers)
# 设置编码
resp.encoding = 'utf-8'
# 响应信息(.text以文字的形式返回)
# print(resp.text)
# 转化成文本(结合谷歌插件书写表达式（Xpath Helper 2.0.2）)
html = etree.HTML(resp.text)
# 获取小说文本
info = '\n'.join(html.xpath('//div[@class="m-post"]/p/text()'))
# 获取小说每章节额的标题
tittle = html.xpath('//h1/text()')[0]

# print(info)
# print(tittle)

# 保存数据
'''
open打开文件，w表示写入，a表示追加，r表示读取，r+表示读写，w+表示写读，a+表示追加读。
当发现打开的文件不存在时，open()函数会自动创建一个文件，并返回文件对象。
f是为了操作文件，起的别名。
f.write(info)写入文件，info是写入的内容。
'''

with open('斗罗大陆1.txt','w',encoding='utf-8') as f:
    f.write(tittle +'\n\n'+info +'\n\n')

 2.xiaoshuo2.py可获取整篇篇文件并保存。

# 获取整篇小说内容的操作（递归调用页面上下一章按钮的方法）

# 怎么发送请求，使用这个包
import requests
# 在标签或者字符串中提取文字的包
from lxml import etree


# 发送请求
url = 'https://dl.131437.xyz/book/douluodalu1/1.html'
n = 0
# # 循环读取全部文章并保存
while True:
# while n < 10:
        # 伪装自己的身份，假装是以一个浏览器的用户去访问网站，而不是通过代码访问。所以在请求时，我们需要获取浏览器请求的headers中的User-Agent
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'
        }
        # get请求
        resp = requests.get(url,headers = headers)
        # 设置编码
        resp.encoding = 'utf-8'

        # 转化成文本(结合谷歌插件书写表达式（Xpath Helper 2.0.2）)
        html = etree.HTML(resp.text)
        # 获取小说文本
        info = '\n'.join(html.xpath('//div[@class="m-post"]/p/text()'))
        # 获取小说每章节额的标题
        tittle = html.xpath('//h1/text()')[0]
        # 打印标题
        print(tittle)

        # 获取下一篇小说的 URL，注意修正字符串拼接错误
        next_url = html.xpath("//tr/td[2]/a/@href")[0] if html.xpath("//tr/td[2]/a/@href") else None

        # 如果没有找到下一篇的链接，退出循环
        if not next_url:
                print("没有找到下一篇链接，结束循环。")
                break

        '''
        第二种写法：拿到最后一篇文章的url进行判断.如果相等，则break
        if next_url ==  f'https://www.85xs.cc/book/douluodalu1/'
        '''

        # 更新 URL 为下一篇
        url = f'https://www.85xs.cc/{next_url}'


        # open打开文件，w表示写入，a表示追加，r表示读取，r+表示读写，w+表示写读，a+表示追加读。
        # 保存数据
        with open('斗罗大陆2.txt','a',encoding='utf-8') as f:
            f.write(tittle +'\n\n'+info +'\n\n')
        # # 增加计数器
        #     n += 1

由于是初学者，所以把注释，测试情况什么的都写着。