遇到了非常多的困难
一开始在于
抓包哪些请求必须要填,请求头中的参数必须填或者最好要填,抓包抓不全(新链接在新标签页会漏掉请求)
后来在于
请求的灵活跳转(有时一个302直接连跳到后面的200,中间的请求不用写)
响应头里set-cookie的请求是必备的,而Cookie(包含20多个K-V的string)中有的参数是必备的,有的是代码不会返回给你(浏览器自带的)
一般403就是被反爬,5XX好像也是反爬
最近遇到了
- 202的问题,是同一条请求,第一次202,第二次应是200却跳不到
- 返回报文大量乱码的问题,明明设置了Content-Type里的charset。。。
.
在Chrome打开开发者工具,还会遇到前端反调试:
https://segmentfault.com/a/1190000012359015
解决方式,ctrl+F8 然后点跳出来的paused in debugger。
忘了总结一件小事:新加断点不用重新debug
还有一些问题:
- 虽然人人都很清楚,但是还是有些没统筹好任务。最后一个任务本来是验证码做模型,所以我放到了最后。后来得知只要做验证码就行了。一下就变成了最简单的任务,应该天天都带着做的。。。
- 一定要确认好,做好是个什么概念。比如我们爬虫,测试只会发出一次请求。如果你不给每个请求加循环,一次没请求好就是测试失败。我们要确保一次成功。