python学习-选择器

scrapy

数据提取器 Selector
CSS和Xpath

scrapy shell url 交互式python环境用语测试和debug爬虫

CSS Selector
response.css(‘div#images a::text’).extract()
div#images 表示 id为images a标签 text文本
div.images class为images
extrac() 返回列表t
extract_first() 只要列表中第一个,可以设定默认值 default=‘默认值 ’

获取a标签所有href链接 a::attr(href)
获取所有图片链接地址 a img::attr(src)
class 有多个属性值 div[class=”r1 r2 r3”] dlv.r1.r2.r3

xpath Selector
/ 表示从根节点开始选取
// 表示不必管标签在文档中的位置
.选取当前节点
xpath(‘//h2/text()’) 加上text()指定只返回文本
xpath(‘//h2/@href’) 加上@返回指定属性值

使用属性值定位节点
xpath(‘//p[@class=”location”]/text()’) 获取class为location的p内的文本

节点名称后加上[n]，获取该节点下某个子节点的第n个
xpaht(‘//div[@class=’companies’]/div[2]’)

属性包含指定值
xpath(‘//div[contains(@class,”name1”)]/text()’)

re 和 re_first