2019年01月_THISISPAN

01月

原创常见爬虫/BOT对抗技术介绍（一）

爬虫，是大家获取互联网公开数据的有效手段。爬虫、反爬虫技术、反-反爬虫技术随着互联网的不断发展，也在不断发展更新，本文简要介绍现代的爬虫/BOT对抗技术，如有疏漏，多谢指正！一、反爬虫/BOT技术 1.1 Robots.txt Robots.txt是一个古老的爬虫协议文件，他的位置位于域名根目录下。譬如http://example.com/robots.txt 。严格来...

2019-01-10 17:42:46 1614 1

原创常见爬虫/BOT 对抗技术简介（二）

上一篇文章分别从网络协议，Robots文件，JS渲染，行为分析等多方面讲了些“反爬虫”，“反-反爬虫”技术。点击查看：《常见爬虫/BOT 对抗技术简介（一）》本文将主要介绍各种IP地址的获取及接入方式何谓VPN？ 2.2 VPN VPN是一个大家耳熟能详的技术。VPN最常用于连接办公网，以及规避流量审计。在WIKI中， VPN的定义如下：虚拟私人网络（英...

2019-01-19 21:04:04 868 1

原创做了一个动态代理 IP 池项目~内测激活码发放10名额

一.前言：长期在 CSDN 潜水，现在打算出来创业了，目前公司在深圳。做了点啥呢，就是给爬虫用的动态代理 IP 池啦。目前运行很稳定，现邀请大家内测体验~每天10名免费内测激活码~ 二.传送门 2.1.传送门：http://www.2808proxy.com 2.2获取激活码：微信公众号"2808proxy"点击领取，每天限10名噢三.目前项目概括： 1...

2019-01-10 17:40:30 788