一,正则表达式解析
在爬虫中,下面两种方式用的多一些~
大致用法:
二,Xpath解析
简介及安装
简介:XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
安装:pip install lxml
调用方法:
语法简介
先准备一个HTML格式的字符串
1,选取节点
2,谓语
3,通配符
Xpath通过通配符来选取未知的XML元素
4,取多个路径
使用 “|” 运算符可以选取多个路径
5,Xpath轴
轴可以定义相对于当前节点的节点集
6,功能函数
使用功能函数能够更好的进行模糊搜索
三,BeautifulSoup
简介及安装
简介:
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
安装:pip3 install beautifulsoup4
解析器:
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快。
简单使用
使用方式:可以将一个html文档,转化为BeautifulSoup对象,然后通过对象的方法或者属性去查找指定的节点内容
语法简介
find_all()
先准备一个HTML格式的字符串
1,五种过滤器
字符串、正则表达式、列表、True、方法
2、按照类名查找
注意:关键字是class_,class_=value,value可以是五种选择器之一
3、attrs
4、text
值可以是:字符,列表,True,正则
5、limit参数
如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果
6、recursive
调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .
tag
像调用 find_all() 一样调用tag find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用~
这个方法的执行结果与调用这个对象的 find_all() 方法相同~
find
find( name , attrs , recursive , text , **kwargs )
find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个 < body > 标签,那么使用 find_all() 方法来查找< body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法
下面两行代码是等价的:
唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.
find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .
soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:
转自:爬虫之数据解析的三种方式 - 温而新 - 侵删