![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 71
武子康
永远清澈,永远热情,永远好奇,无限进步!请记住,计算机所有内容都是人研究创造的,所以不存在任何的"黑魔法",别人会的只是你暂时不会,总有一天,你会都研究明白的。我知道这个过程会很难很难,可是只要你想做一些事情,又有哪一件不难呢?所以请你不要放弃!!!
展开
-
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
上一节已经拿到了 小说的详细内容 和 章节的列表接下来,将章节的列表使用脚本从SQLite数据库中取出,使用脚本把数据推送至 RabbitMQ 中。最后,Scrapy消费MQ,手动ACK确认,将数据写入到SQLite。原创 2024-06-21 09:27:38 · 645 阅读 · 0 评论 -
小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQLite
我们写一个小工具,将数据表中的数据,都推送到 RabbitMQ 中。为了保证我们不丢数据,在消费的时候,我们将手动进行 ACK 确认。目前,现在库工具和RabbitMQ的配合比较差,不知道为什么, 所以就手搓了一部分代码, 来实现 RabbitMQ 和 Scrapy 的结合。原创 2024-06-20 15:01:25 · 1004 阅读 · 0 评论 -
小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!
我们计划对笔趣阁网站的小说进行爬取。我们通过小说的排行榜对整个网站的所有小说进行爬取。代码实现部分很简单!爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!原创 2024-06-20 14:38:04 · 1303 阅读 · 0 评论