爬虫：小说下载

最新推荐文章于 2024-08-24 11:00:06 发布

何永生

最新推荐文章于 2024-08-24 11:00:06 发布

阅读量3k

点赞数 1

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/huoyingchong64/article/details/88558314

版权

本文介绍了使用Python的Requests-HTML库进行网络爬虫，特别是针对小说网站的爬取。作者分享了如何通过模拟浏览器行为获取HTML内容，以及利用CSS选择器和XPATH选取元素的方法，展示了获取小说章节标题和内容的示例。

摘要由CSDN通过智能技术生成

1、网络爬虫，推荐一个解析HTML的Python库–Requests-HTML
这个库的用法，可以参考如下网址：
https://blog.csdn.net/anonymous_qsh/article/details/79372524

2、写这个文章的目的，只是为了记录自己学习python爬虫项目所用。如果要看小说，请支持正版
本人学习的地址来源于：
https://www.w3cschool.cn/python3/python3-enbl2pw9.html

3、本项目需要安装的python包 requests_html

import logging
import time
from requests_html import HTMLSession as hs

4、日志模块（可有可无的模块，只是将日志设置一些级别，用于分析）

LocalDay = time.strftime("%Y-%m-%d")
logFile = r'D:\SpyderNovels\{0}.log'.format(LocalDay)
logging.basicConfig(level=logging.DEBUG,
             format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
             datefmt='%a, %d %b %Y %H:%M:%S',
             filename=logFile,
             filemode='a+')
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)

5、下载一个章节的示例：
（1）headers模拟手机或者浏览器，以’https://www.biqukan.com/1_1094/5403177.html’为例。因为控件元素不同，所以需要获取的就得跟着改变