【多线程】全栈下载笔趣阁小说（保存数据库）

最新推荐文章于 2024-10-30 13:29:48 发布

彬小二

最新推荐文章于 2024-10-30 13:29:48 发布

阅读量2.4k

点赞数 1

分类专栏： python_spider 文章标签：爬虫多线程数据库笔趣阁小说下载

本文链接：https://blog.csdn.net/qq_39884947/article/details/87973217

版权

本文介绍了一种使用Python爬取笔趣阁小说网站数据的方法，包括小说信息抓取和多线程下载功能，利用requests、lxml和pymysql等库实现数据抓取与存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爱看小说的程序猿必备！

首先我们需要安装以下库：

python3.5
requests
pymysql
lxml
queue
threading

分析笔趣阁小说网站
此页面有改网站的所有小说章节目录的得地址。我们要做的是是将小说名字和url地址保存进数据库，方便我们后面查询小说并下载

import requests
from lxml import etree
import pymysql
def insertdb():
    url = "http://www.xbiquge.la/xiaoshuodaquan/"
     # 获取响应
    req = requests.get(url) 
    html = etree.HTML(req.content.decode("utf8", "ignore"))
    lists = html.xpath("//div[@class='novellist']/ul/li")
    #链接数据库
    db = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='biquge&