[知了开发]“知了”优化 - WebMagic 调优

最新推荐文章于 2021-07-06 10:55:59 发布

wsrspirit

最新推荐文章于 2021-07-06 10:55:59 发布

阅读量3k

点赞数

分类专栏：知了APP Java 文章标签： WebMagic 增量爬虫优化 Scheduler close-wait

本文链接：https://blog.csdn.net/WSRspirit/article/details/52195960

版权

本文探讨了在WebMagic框架下实现增量爬虫的策略，包括使用数据库存储URL并优化索引，以及如何在WebMagic中进行定制以适应需求。同时，提到了爬虫停止的条件判断和资源释放，以及反爬策略，针对TCP close-wait状态的处理和服务器配置调整。

摘要由CSDN通过智能技术生成

在之前的博客中也分析了WebMagic的基本所有的主要代码，在我们的项目中也遇到了很多由于WebMagic的问题而导致正个服务器性能大范围的下降，那么今天说说这些bug

增量爬虫
爬虫停止
反爬

增量爬虫

我们的应用需要在每天额固定时间启动爬虫，然后去爬，很明显我们需要从昨天的爬取结果中增量爬虫，这个增量是相对于昨天，而不是一次爬虫中的过程中那么怎么存储昨天爬取的url呢。

使用数据库

很明显我们能够在pipeline中存储url，然后通过Mysql的unique来解决，那么我们直接insert就好了。那我们看看数据库中的url都长什么样子

http://club.xdnice.com/forum.php?mod=viewthread&tid=1410423&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410561&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410558&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410496&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410287&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410546&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410430&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410535&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410488&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410542&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410005&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410541&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1410394&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?mod=viewthread&tid=1405225&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
http://club.xdnice.com/forum.php?m