前几天渗透一个网站,google搜索的时候,发现300多名账号
于是就寻思着爬下来,爬虫google,嘿,没干过,之前都是爬一些小网站,图片那啥的。这次不仅要爬取页面内容,还要调用google搜索。一起来看看有哪些问题要克服吧
google的反爬虫技术也是蛮厉害的。你有没有遇到过一种情况,当你连续快速搜索的时候,或者当你使用inurl:, insite: 等搜索语法过多的时候,google会出现验证码。
那种情况就是你的ip被记录了,或者你搜索的行为被记住了。什么是行为被记住了呢,正常人搜索是大概率不会用到搜索语法的,一个人使用搜索语法并且很频繁,就非常有可能被当作机器对待。
针对这种反爬虫的情况,主要有一下几个策略:
1.使用代理
每发出一个请求的时候就随机使用一个代理
2.更换请求的user-agent
3.更换搜索的google域名
经常搜索的域名有www.google.com殊不知,google还有不下200个域名提供搜索
4.更换cookie
发包的时候动态设置cookie
以上都做到了,就可以爬取google的信息了,加油少年。
工具链接