本文介绍了网页请求的全过程，包括服务器渲染和前端JS渲染，强调了数据可能不在页面源代码中。同时，讲解了浏览器工具如Elements、Console、Sources和Network的使用，并提及反爬虫策略如User-Agent、代理IP和验证码。最后，讨论了HTTP状态码，如200和404。
前情摘要
一、web请求全过程剖析
我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么?
我们看一下一个浏览器请求的全过程
接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念
那就是页面渲染数据的过程, 我们常见的页面渲染过程有两种,
-
服务器渲染, 你需要的数据直接在页面源代码里能搜到
这个最容易理解, 也是最简单的. 含义呢就是我们在请求到服务器的时候, 服务器直接把数据全部写入到html中, 我们浏览器就能直接拿到带有数据的html内容. 比如,
由于数据是直接写在html中的, 所以我们能看到的数据都在页面源代码中能找的到的.
这种网页一般都相对比较容易就能抓取到页面内容.
-
前端JS渲染, 你需要的数据在页面源代码里搜不到
这种就稍显麻烦了. 这种机制一般是第一次请求服务器返回一堆HTML框架结构. 然后再次请求到真正保存数据的服务器, 由这个服务器返回数据, 最后在浏览器上对数据进行加载. 就像这样:
js渲染代码（示例）
<!DOCTYPE html> <html lang="en"> <head> <meta charset=&#
最低0.47元/天 解锁文章
300
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
