[爬虫][scrapy]selector的用法

selector的用法

写爬虫的时候, 最累的一关, 同样也是最没有技术含量的一关, 但是必不可少的一关, 就是解析html的元素.
所以,这个时候我们必须用到 scrapy 内置的selector, 我分以下几个方面来讲一讲我自己解析数据的时候的经验.
它们大多数是我写爬虫的时候的一些小技巧, 或者结合网上博客的教程学会的.

1. 解析json 类型的数据
2. xpath语法

xpath语法

这个东西比较麻烦, 需要达到一定的熟练度才行, 现在我分享几个我用的到的技巧.

第一个技巧 单一样式元素提取
xpath(’//div[@class=“样式名”]’)

第二个技巧 多样式的元素提取
xpath(’//div[contains(@class,“样式名”)]’)
这里大家看一下, contains() 是一个函数, @class, 是固定的写法, 没有引号, 而具体的样式名要有引号.(我一直是这么写的, 还没试过去掉行不行)(应该是不行的,确认无误!!)

第三个技巧 获取兄弟结点的语法
xpath(’//p/following-sibling::p[1]’).extract_first()
例如上面的例子, 获取下一个兄弟结点, 使用的语法是 following-sibling::标签名[相隔数量]. 如果要获取前面的兄弟结点, 语法则是 preceding-sibling::标签名[N]
这里有个特殊的固定是, 数量都必须从1开始, 和计算机里面传统的从0开始是不一样的, 这里要切记.

第四个技巧 获取特定的第N个孩子结点的语法
一般来说, 我们可能有获取特定孩子结点的需求, 如果获取第一个, 举个例子,这么写
xpath(’//p/p[1]’).extract_first(), 获取第二个 xpath(’//p/p[2]’).extract_first()
如果是为了获取倒数第一个以及倒数第二个, 那么这么写
xpath(’//p/p[last()]’).extract_first()
xpath(’//p/p[last()-1]’).extract_first()

第五个技巧 如何去除前后空格呢?
一般来说, 我们获取一个标签里的文本呢? 可以这么写 ^$ 表示开头和结尾.
xpath(’./h4/a/text()’).re(’^\s*(.+)\s*$’)

第六个技巧 如何不指定标签名称呢?
有的时候, 我们并不想指定特定的标签, 那么该怎么写呢?
我们使用 * 号代替标签名即可.

参考

[1] scrapy官方文档
docs.scrapy.org/