Python爬虫的一些常用库(解析2)

xpath

xpath应该是使用最多的解析工具，这玩意是真的简单方便。

安装

这里的话我是直接安装parsel

使用

selector = parsel.Selector(html) # 这个html是我请求页面时打印页面的参数

用法：

//li[contains(@id,"好家伙")]  # 查找id属性值中有字符串好家伙的li节点

/text()或者/@href 得到列表中的内容

//  根目录
[]  谓语 - 条件
@   提取该元素
/   选择元素

看到，每张图片都在div里面

进一步分析，可以看到图片在img里面 ，那么，xpath语法如下：

//div[@class="egeli_pic_li"]/dl//a/img/@src

这里的div可以换成*   效果是一样的，而@里面的也可以不一样，可以换成style，效果也一样

//*[@style="position: absolute; left: 0px; top: 0px;"]//img/@src

//*[@style="position: absolute; left: 0px; top: 0px;"]//@src

//*//@src

//*/*/*/img/@src

想多简单就能有多简单，上手也快。

有时候不想打开pycharm来玩，感觉打开pycharm还要请求，解析，print一般很麻烦，想直接在页面就能玩一下，爽一爽，可以下载一个xpath的浏览器插件。当然，也可以在开发者工具中，按CTRL+F，

 

 在这里也可以玩，但是在这里输入的话，它会跟着你动，难受的不行。