缓存
霸王龙不吃芹菜
这个作者很懒,什么都没留下…
展开
-
scrapy分布式+指纹去重原理
pip install --upgrade scrapy-redis-cluster # 升级模块版本。pip install scrapy-redis-cluster==0.4 # 安装模块时指定版本。pip install scrapy-redis-cluster # 安装模块。一个是items 里面的数据 ,另外一个则是已经爬取的 md5 url。3,指纹去重在redis里面的显示,用redis做去重逻辑--先遣队。此处的关键点在于管道的先后顺序,顺序错了,数据库的数据会进不去。原创 2023-07-26 16:57:20 · 1248 阅读 · 0 评论 -
工作技术小结
302跳转,cookie 在服务端怎么拿可用找到参数直接调用,cookie参数值在本地怎么拿 allow_redirects=False 默认为True。在小程序抓包过程中,如果要实现批量抓取,必须解决cookie问题,但是cookie值太多,对比当前用户COOKIE 进行筛选,缩小范围,找到关键参数值。源码js关键字找不到,寻找加密方式找不到, 跳转思路可能set-cookie在跳转页面里面,如果还找不到,则从头开始走流程用charles抓。关于论坛后端接口编写小结。原创 2023-02-10 17:26:15 · 456 阅读 · 0 评论 -
高并发问题解决思路
1,问题.........too many connection。4,解决办法,增加连接池数量,根本解决降低request版本。3,进入代码块发现异步请求链接超限,将异步改为同步。2,查看服务器日志,抓住某个一直出现的接口。原创 2022-10-31 14:25:11 · 53 阅读 · 0 评论 -
反编译小结
反编译流程小结。钻研个把小时,有觉得实用的帮忙点个赞原创 2022-08-30 11:03:33 · 526 阅读 · 0 评论 -
微信文件管理地址
缓存地址原创 2022-08-26 13:23:56 · 396 阅读 · 0 评论