spark使用python教程_Python中用Spark模块的使用教程

在日常的编程中，我经常需要标识存在于文本文档中的部件和结构，这些文档包括：日志文件、配置文件、定界的数据以及格式更自由的(但还是半结构化的)报表格式。所有这些文档都拥有它们自己的“小语言”，用于规定什么能够出现在文档内。我编写这些非正式解析任务的程序的方法总是有点象大杂烩，其中包括定制状态机、正则表达式以及上下文驱动的字符串测试。这些程序中的模式大概总是这样：“读一些文本，弄清是否可以用它来做些什么，然后可能再多读一些文本，一直尝试下去。”

解析器将文档中部件和结构的描述提炼成简明、清晰和 说明性的规则，确定由什么组成文档。大多数正式的解析器都使用扩展巴科斯范式(Extended Backus-Naur Form，EBNF)上的变体来描述它们所描述的语言的“语法”。基本上，EBNF 语法对您可能在文档中找到的 部件赋予名称；另外，较大的部件通常由较小的部件组成。小部件在较大的部件中出现的频率和顺序由操作符指定。举例来说，清单 1 是 EBNF 语法 typographify.def，我们在 SimpleParse 那篇文章中见到过这个语法(其它工具运行的方式稍有不同)：

清单 1. typographify.def

para := (plain / markup)+

plain := (word / whitespace / punctuation)+

whitespace := [ trn]+

alphanums := [a-zA-Z0-9]+

word := alphanums, (wordpunct, alphanums)*, contraction?

wordpunct := [-_]contraction := "'", ('am'/'clock'/'d'/'ll'/'m'/'re'/'s'/'t'/'ve')

markup := emph / strong / module / code / title

emph := '-', plain, '-'

strong := '*', plain, '*'

module := '[', plain, ']'

code := "'", plain, "'"

title := '_', plain, '_'

punctuation := (safepunct / mdash)

mdash := '--'

safepunct := [!@#$%^&()+=|{}:;<>,.?/"]

Spark 简介

Spark 解析器与 EBNF 语法有一些共同之处，但它将解析／处理过程分成了比传统的 EBNF 语法所允许的更小的组件。Spark 的优点在于，它对整个过程中每一步操作的控制都进行了微调，还提供了将定制代码插入到过程中的能力。您如果读过本系列的 SimpleParse 那篇文章，您就会回想起我们的过程是比较粗略的：1)从语法(并从源文件)生成完整的标记列表，2)使用标记列表作为定制编程操作的数据。

Spark 与标准的基于 EBNF 的工具相比缺点在于，它比较冗长，而且缺少直接的出现计量符(即表示存在的“+”，表示可能性的“*”和表示有限制性的“?”)。计量符可以在 Spark 记号赋予器(tokenizer)的正则表达式中使用，并可以用解析表达式语法中的递归来进行模拟。如果 Spark 允许在语法表达式中使用计量，那就更好了。另一个值得一提的缺点是，Spark 的速度与 SimpleParse 使用的基于 C 的底层 mxTextTools 引擎相比逊色很多。