记录面试---爬虫工程师面试(1)

1、你遇到过的反扒措施有哪些,你是怎么解决的?

这道题我主要就是说一下平时遇到的反爬,至于js逆向只提到一个例子。

2、如果请求中返回的数据有两种类型,一种是xml,另一种是json数据,你要怎么构造请求头让它返回json类型数据?

个人理解应该是请求头中 accept属性设为application/json

3、现在给你一批账号,让你做一个”测试指定网站的反爬”方案?

这个问题,请教了面试官
思路:考虑不同情况,根据不同情况,决定测试方向。
例子:如果时间比较紧的话,就多用一些账号,对网站的ip封禁频率、请求头、跳转连接等进行测试
如果时间比较充裕的话,就用尽可能少的账号对,通过慢慢递增的方式,对网站的ip封禁频率、请求头、跳转连接等进行测试。

对于以上问题,有更好思路的,可以在评论区留言,或者私信一起讨论一下。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值