Python SGMLParser简介

python SGMLParser

python SGMLParser模块处理html解析非常的方便，它将HTML处理分成三步：将 HTML 分解成它的组成片段，对片段进行加工，接着将片段再重新合成 HTML。第一步是通过sgmllib.py 来完成的，它是标准Python 库的一部分。

理解本章的关键是要知道 HTML 不只是文本，更是结构化文本。这种结构来源于开始与结束标记的或多或少分级序列。通常您并不以这种方式处理 HTML，而是以文本方式在一个文本编辑中对其进行处理，或以可视的方式在一个浏览器中进行浏览或页面编辑工具中进行编辑。sgmllib.py 表现出了HTML 的结构。

sgmllib.py 包含一个重要的类：SGMLParser。SGMLParser 将 HTML分解成有用的片段，比如开始标记和结束标记。在它成功地分解出某个数据为一个有用的片段后，它会根据所发现的数据，调用一个自身内部的方法。为了使用这个分析器，您需要子类化 SGMLParser 类，并且覆盖这些方法。这就是当我说它表示了 HTML 结构的意思：HTML的结构决定了方法调用的次序和传给每个方法的参数。

SGMLParser将HTML分析成8类数据，然后对每一类调用单独的方法：

1. 开始标记 (Starttag)：是开始一个块的HTML标记，当它找到一个开始标记 tagname，SGMLParser 将查找名为start_tagname或do_tagname 的方法。例如，当它找到一个<pre>标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用unknown_starttag 方法。

2. 结束标记 (Endtag)：是结束一个块的 HTML 标记，当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用unknown_endtag 。 

3. 字符引用(Character reference)：用字符的十进制或等同的十六进制来表示的转义字符。SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。 

4．实体引用 (Entityreference)： HTML 实体。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。 

5.注释 (Comment)： HTML 注释，包括在<!--  ... -->之间。当找到，SGMLParser用注释内容来调用 handle_comment。 

6.处理指令 (Processinginstruction)： HTML 处理指令，包括在  之间。当找到，SGMLParser用处理指令内容来调用 handle_pi。 

7.声明 (Declaration)： HTML 声明，如 DOCTYPE，包括在<!--  ... -->之间。当找到，SGMLParser用声明内容来调用 handle_decl。 

8.文本数据 (Text data)：文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser用文本来调用 handle_data。 

 

重要：Python 2.0 存在一个 bug，即 SGMLParser完全不能识别声明 (handle_decl 永远不会调用)，这就意味着 DOCTYPE 被静静地忽略掉了。这个错误在 Python 2.1 中改正了。sgmllib.py 所附带的一个测试套件举例说明了这一点。您可以运行 sgmllib.py，在命令行下传入一个 HTML 文件的名字，然后它会在分析标记和其它元素的同时将它们打印出来。它的实现是通过子类化 SGMLParser 类，然后定义unknown_starttag，unknown_endtag，handle_data 和其它方法来实现的。这些方法简单地打印出它们的参数。