矛盾爬虫法

矛盾爬虫法

爬虫界萌新一枚，技术交流可加微信：694671800，并注明从哪里看到的。
引言：第一次使用这种方式，是在一个机缘巧合之下偶然尝试出来的，经过多次尝试，发现对于极少网站有奇用，如果下文内容对于某些网站产生了不好的影响，可联系作者，谢谢~。

矛盾爬虫法的起源

矛盾爬虫法顾名思义就是关于矛和盾的故事，最初的起源，是我去请求某个网站的数据，因为目标网站请求数据是需要积分的，我在一个神秘的角落找到了一个领取高额积分的方式，本以为多注册几个账号，从此就能当上CEO，迎娶白富美，走向人生巅峰的时候，现实给了我很大的打击。当我携带上代理ip，去分开翻页请求某日的数据，总是不是很理想，我尝试了很多次，数据都会断，获取不完整，对于当时正值萌新时代的我来说，完全是致命打击。但是我并不甘心，在一次脑洞大开之后，我想到我能不能用他自己网站的ip，变成我自己的代理ip，假装成自己人，用他的IP，去请求他，获取数据，经过大胆尝试之后，感觉自己就是开挂的人生，不需要解释，竟然成了，而且还快速无比，100%的请求成功率，自己又快乐了，他们根本就拦不住我了，但是当我一个账号请求了2000条数据之后，发现小脸噗噗的疼，竟然在有账号数据限制，该网站就此作罢。但是我把这个方法记住了，并在我后面的工作中给我帮了很大的忙。
何为矛盾爬虫法，就是携带上数据网站自己ip，去作为自己的代理，去请求他们的网站。这个方法只作用于极少数网站，大部分网站都会对自己的ip去做处理的。

如何找到目标网站IP

我们随便打开一个网站，已某度为例，红色框住的地方就是目标网址的ip和端口地址，一目了然。

尾言：

其实很简单，是个小技巧，希望对大家有所帮助~。