本文讲述了爬虫的工作原理，包括如何利用HTTP协议获取数据及遵守Robots协议。同时，文章介绍了网站的反爬虫策略，如识别user-agent、设置验证码，并探讨了前后端分离与单页应用对爬虫的影响。最后，提到验证码的复杂化以及爬虫面临的法律监管挑战，暗示爬虫行业的艰难处境。
爬虫原理
我是一个爬虫，每天穿行于互联网之上，爬取我需要的一切。
说起来还要感谢HTTP协议，因为它，全世界的网站和浏览器才能够连接通信，而我也是借助HTTP协议，获取我想要的数据。
我只需要伪装成一个浏览器，向服务器发送HTTP请求，就能拿到网页HTML文件。
接着，我再按照HTML的格式规范，去解析其中的图片<img>、链接<a>、表单<form>等等我关注的信息。
获取链接标签以后，我又可以进一步爬取链接背后的网页，如此反复，要不了多久，一个网站中暴露出来的内容我就能爬个干净。
当然了，咱们做爬虫也还是有底线的。干我们这一行，有一个约定俗成的规定，那就是Robots协议。
只要你在网站的根目录下放置一个叫robots.txt的文件，里面写上哪些目录禁止访问，我就会绕道而行，就像这样：
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
就像程序员们经常互相鄙视一样，在咱们爬
最低0.47元/天 解锁文章
2001
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
