![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
反爬
Leo-Woo
这个作者很懒,什么都没留下…
展开
-
我的反爬解决方案(1)—— 怼代理IP
我的反爬解决方案(1)——怼代理IP 项目地址 免费代理IP池地址(长期维护):https://github.com/IMWoolei/FreeProxyPool 前言 在常见的反爬手段中,最常见的是针对访问频度反爬,频度反爬中最常用的又是针对出口IP访问频率的限制。 遇到封IP时的解决办法就是降低请求频率或更换请求出口IP,其中更换出口代理IP的方式最常使用的则是设置代理IP。 代理IP来源 ...原创 2019-08-11 23:23:16 · 1732 阅读 · 0 评论 -
我的反爬解决方案(2)—— 模拟登陆
项目地址 常见站点模拟登陆(长期维护):https://github.com/IMWoolei/fuck-login 前言 爬虫的任务不仅仅是采集数据,自动刷访问量、自动发布内容等都属于爬虫所涉及的范围。 而完成自动刷访问量、发布这些功能往往都需要在登陆状态下进行,另外HTTP是无连接\无状态的,所以实现登陆的目的是在本地生成Cookies,以记录本次会话状态。 另外携带Cookies的请求,可以...原创 2019-08-11 23:26:34 · 1273 阅读 · 1 评论