- 博客(1)
- 收藏
- 关注
原创 一个初级爬虫需要具备那些反爬技巧?
本人是一个刚入社会的小爬虫,在工作期间因为网站反爬也是被虐的体无完肤。每天努力学习,现在自我感觉应该已经是一个初级小爬虫的了,来整理一下以往所遇到的反爬机制。 headers 这个比较简单了,一般网站也就是一个user-agent,不过不行,那就是还有referer、cookie等其他request headers。 data/json 一些请求有可能在你添加了headers后仍然无法获取到想要...
2019-09-10 01:03:46 199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人