原标题:入门Python爬虫——提取数据篇
作者: 李菲 来源:人工智能学习圈
前言
在提取数据这一环节,爬虫程序会将我们所需要的数据提取出来。在上一篇文章《入门Python爬虫 -- 解析数据篇》中,我们已经了解过了解析数据的要点。而今天的内容,主要会在此基础上进一步提取出我们认为有价值的信息。
提取数据知识点
在提取数据的过程中,我们依旧会用到熟悉的BeautifulSoup库。下面我会介绍一下其中比较常用的两个方法:find()以及find_all()。
find():提取首个符合要求的数据。
用法:bs对象.find(标签,属性)
备注:此处的bs对象为解析过后的数据。标签和属性在这里用于定位指定HTML源代码所在的位置。让我们做一个简单的回顾:标签是被<>括住的内容,例:
,。元素为一对标签中所涵盖的全部内容,例:网页体内容。属性则为定义了一个元素的内容,常见的属性有:href='https:www.example.com'(定义了一个链接);class="example"(定义了一个类);等等。find_all():提取所有符合要求的数据。
用法:bs对象.find_all(标签,属性)
备注:上述的bs对象、标签以及属性的用法与find()一致。不过,由find_all()提取出的数据类型会与find()不同。由find()方法提取出的数据类型一般为Tag,而find_all提取出的数据类型则为ResultSet。遇到类型为Tag的数据,我们可以通过Tag.text()的方式进一步提取其中纯文本格式的内容,以及Tag['属性名']的方式提取特定属性的值。而遇到类型为ResultSet的数据,我么则可以通过遍历的方式进一步提取出所有符合要求的数据。
总结
原文链接:https://zhuanlan.zhihu.com/p/150387648返回搜狐,查看更多
责任编辑: