lxml,BeautifulSoup4

lxml

lxml是python下功能丰富的XML, HTML解析库， 性能非常好， 是对libxml2和libxslt的封装。
最新支持python2.6+， python支持到3.6
Centos编译安装需要

yum install libxm12-devel libxslt-devel

from lxml import etree
root:etree._Element = etree.Element('html')     ## 名字叫html的标签
print(root.tag)

body = etree.Element('body')
root.append(body)
print(etree.tostring(root))   ##转成bytes类型

sub = etree.SubElement(body, 'child1')  ## 给body增加子节点
sub = etree.SubElement(body, 'child2').append(etree.Element('child21'))
html = etree.tostring(root, pretty_print=True).decode()
print(html)


r = etree.HTML(html)   ## 返回根结点
print(r.tag)      ## 根结点名

print(r.xpath('//*[contains(local-name(),"child")]'))  ##任意元素下, 名字里面包含child的结点

• etree.HTML(text)解析HTML文档, 返回根结点
• anode.xpath()对结点使用xpath

BeautifulSoup4**

• 安装

$pip install beautifulsoup4

初始化

BeautifulSoup(markup="", features=None)
**markup:**被解析对象, 文件对象或者html字符串
**features:**解析器,

返回一个文档对象

from bs4 import BeautifulSoup

|解析器|使用方法|优势|
|:--------:||:--------:||:--------?
|python标准库|BeautifulSoup(markup, “html.parser”)|速度适中, 容错能力强|
|lxml HTML 解析器|BeautifulSoup(markup, “lxml”)|速度快, 容错能力强|
|lxml XML 解析器|BeautifulSoup(markup, [“lxml”, “xml”])|速度快, 唯一支持XML解析器|
|html5lib|BeautifulSoup(markup, “html5lib”)|最好的容错性, 以浏览器的方式解析文档, 生成HTML5格式的文档, 速度慢, 不依赖外部扩展|

请手动指定解析器

四种对象

BeautifulSoup将HTML文档解析成复杂的树形结构(遍历深度优先), 每个节点都是Python的对象

1. BeautifulSoup对象 : 代表整个文档.
2. Tag对象: 对应HTML中的标签, 有两个常用的属性:

• name: Tag对象的名称, 就是标签名称
• attrs: 标签的属性字典

3. NavigableString:只输出标记内的文本, 而不关心标记
4. 注释对象,Comment对象: 就是HTML中的注释