爬虫
文章平均质量分 61
南宫伊枫
搞IT的人们伤不起
展开
-
feapder 与 scrapy 分布式爬虫速度对比
测试用例为使用feapder的分布式爬虫与scrapy-redis爬虫,请求1万次百度,均为32并发1进程的情况下,计算耗时原创 2022-05-19 17:22:34 · 458 阅读 · 0 评论 -
必备|爬虫工具库-spidertools.cn
爬虫工具库-spidertools.cn 是专为爬虫工程师打造的在线工具库,集合了爬虫工程师常用的工具,如json格式化、header格式化、cookie格式化、curl转python等,致力于提高爬虫开发效率原创 2022-04-01 10:56:20 · 5619 阅读 · 1 评论 -
feapder 与 scrapy 对比分析
本篇文章在源码层面比对feapder、scrapy、scrapy-redis的设计,阅读本文后,会加深您对scrapy以及feapder的了解,以及为什么推荐使用feapderscrapy分析1. 解析函数或数据入库出错,不会重试,会造成一定的数据丢失scrapy自带的重试中间件只支持请求重试,解析函数内异常或者数据入库异常不会重试,但爬虫在请求数据时,往往会有一些意想不到的页面返回来,若我们解析异常了,这条任务岂不是丢了。当然有些大佬可以通过一些自定义中间件的方式或者加异常捕获的方...原创 2021-09-14 10:41:35 · 1508 阅读 · 0 评论 -
js逆向技巧分享
当我们抓取网页端数据时,经常被加密参数、加密数据所困扰,如何快速定位这些加解密函数,尤为重要。本片文章是我逆向js时一些技巧的总结,如有遗漏,欢迎补充。所需环境:Chrome浏览器1. 搜索1.1 全局搜索适用于根据关键词快速定位关键文件及代码当前页面右键->检查,弹出检查工具搜索支持 关键词、正则表达式1.2 代码内搜索适用于根据关键词快速定位关键代码点击代码,...原创 2020-02-21 13:56:29 · 2195 阅读 · 0 评论 -
字体加密破解技术分享-01
1. 什么是字体加密简单的说,字体加密即为所复制非所得。如下图,我们复制186.37万字得到????????????????????????万字。那么这里的186.37这个数字就被加密了,用到的技术为字体加密。网址:https://book.qidian.com/info/1013562540字体加密所用范围也很广,如大众点评、猫眼、起点中文网、landchian等。如果我们直接抓取页面源代码,得到的则为一堆无意义的数据。...原创 2020-02-21 13:56:04 · 1609 阅读 · 0 评论