python爬虫Scrapy框架笔记分享3-Scrapy 数据提取

最新推荐文章于 2022-11-04 08:00:00 发布

qichangjian

最新推荐文章于 2022-11-04 08:00:00 发布

阅读量308

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/qichangjian/article/details/86658501

版权

33 篇文章 1 订阅

订阅专栏

从网页中提取数据，Scrapy 使用基于 XPath 和 CSS 表达式的技术叫做选择器。以下是 XPath 表达式的一些例子：

/html/head/title

/html/head/title/text()

//td

//div[@class=”slice”]

选择器有四个基本的方法，如下所示：

S.N.	方法 & 描述
extract()	它返回一个unicode字符串以及所选数据
extract_first()	它返回第一个unicode字符串以及所选数据
re()	它返回Unicode字符串列表，当正则表达式被赋予作为参数时提取
xpath()	它返回选择器列表，它代表由指定XPath表达式参数选择的节点
css()	它返回选择器列表，它代表由指定CSS表达式作为参数所选择的节点

如果使用选择器想快速的到到效果，我们可以使用Scrapy Shell

scrapy shell "http://www.163.com"

注意windows系统必须使用双引号

从一个普通的HTML网站提取数据，查看该网站得到的 XPath 的源代码。检测后，可以看到数据将在UL标签，并选择 li 标签中的元素。

代码的下面行显示了不同类型的数据的提取：

response.xpath('//ul/li')

response.xpath('//ul/li/text()').extract()

response.xpath('//ul/li/a/text()').extract()

response.xpath('//ul/li/a/@href').extract()

关注

专栏目录