爬虫,运行的本质就是模拟人访问网页,只不过不需要通过网页界面进行操作。
因此,要写出爬虫程序,我们就需要了解网页的结构。
以chrome为例,我们打开并分析一个网页的结构,这个网页是爱词霸的翻译界面,网页地址:http://fy.iciba.com/
例如,现在要用爬虫来替代我们“访问网页——输入需翻译的词——点击翻译按钮——得出结果”的操作过程,那我们需要先登录目标界面,分析网页结构。
登录后,爱词霸的翻译界面如下:
我们按下键盘上的F12,即可打开chrome的开发者工具,通过这个工具,我们就可以对目标网页及其按钮进行分析。
分析网页过程中,我们最常用的就是两个页签Elements和Network。
Elements展示的是网页上所有元素的HTML代码,例如我们把鼠标移至【翻译】按钮,则在Elements对应的代码中就会标示出按钮对应的代码,如图中蓝色行的代码。
Network展示的是我们与服务器之间的交互内容,包括我们访问的URL、我们传递给服务器的数据&#