使用爬虫爬取网络的数据,一般需要对网页进行分析,而直接使用浏览器可以说是最方便的了,比如使用 chrome 浏览器就可以查看网络请求和发送的参数。
在 chrome 浏览器中右键->检查或者 F12 就可以打开开发者选项:
在上边的各个选项中,常用的主要有:
- Elements:表示构成该网页的源代码
- Console:表示网页的控制台
- Sources:组成这个网页的所有源文件
- Network:表示加载该页面的时候,浏览器所发送的所有请求
使用爬虫爬取网络的数据,一般需要对网页进行分析,而直接使用浏览器可以说是最方便的了,比如使用 chrome 浏览器就可以查看网络请求和发送的参数。
在 chrome 浏览器中右键->检查或者 F12 就可以打开开发者选项:
在上边的各个选项中,常用的主要有: