在上一篇《编写网页爬虫需要的一些前置知识(1):HTML》中我们了解到了HTML最最基础的知识
但是一般的网站HTML都是拥有非常多的标签
我们怎么能够从这些海量的代码中快速有效的找到想要的资料(图片,文字,视频,表格)等呢?
Xpath则提供了一个方便的方法
什么是Xpath?
XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言
Xpath的特点
XPath是树状结构的,打个比方就像电脑里的文件系统一样,你可以通过文件路径快速访问到文件,同理通过XPatch快速找到HTML中想要的文本内容
快速定位Xpath的方法
通过浏览器“检查”的功能,可以简易快速找到想要的HTML内容
例如Chrome 给我们提供了一键获取 xpath 地址的方法(右键->检查->copy->copy xpath),如下图:
通过这个方法可以快速找到对应内容的XPath,再利用Scrapy等爬虫框架可以非常有效的抓取内容