Firefox中firebug和xpath checker工具的使用

Firefox是一个非常专业的浏览器,它许多插件。由于爬虫项目需要,要看网页的代码,并且找到有用信息,我推荐firebug这个看代码的工具,并使用xpath提取需要的信息。
firefox浏览器安装好,打开菜单-》附加组件-》扩展-》搜索firebug和xpath checker,安装就可以了,最后重启浏览器

Firebug:
安装好之后,可以在屏幕的下方看到一个小虫的标志,是暗色的,说明该插件没有开启,点小虫图标屏幕下方会出现一栏。
在这一栏可以看到小虫变亮了,旁边还有查看,编辑的功能。
点查看,然后移动鼠标到你想的内容,这时发现你鼠标在的地方在下面一栏的代码就出现了。
简单吧,但对你要看代码,知道代码的具体位子可是很重要的。
在代码处,点右键 "使用Firebug查看元素", 出现菜单栏, 选中复制XPath
将XPath 复制到文件就可以看到选中内容的xpath了。  


XPath Checker:
在页面上点鼠标右键,出现菜单,点击"view xpath"。
将刚才的XPath复制到XPath checker中刚才的内容就显示出来。

需要什么内容可以事先在XPath Checker验证下,之后再写入代码中。

后来使用中发现有时候XPath Checker显示正常了,写入到scrapy爬虫中还是获取不到,后来又参考了Scrapy下xpath基本的使用方法,指定class或者id在逐一找到内容.

例如:

firefox复制的xpath:/html/body/div[3]/div[3]/div/div[2]/h2/text()
我自己写的://*[@class="ctd_head_left"]/h2/text()

复制的xpath代码中写好了,但是获取不到内容,自己写的就可以,不能确定原因。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值