字符串令牌解析

这部分内容我觉得一般情况下用不到，只有在高级字符解析，有特定需求的时候才可能有用,所以并没有花太多时间去揣摩。

中文版原文链接在此：字符串令牌解析

假如我们有这样一段字符串s='jack + me = money ?' 在这个字符串中，像jack，me,money这些就是一类词语，姑且称作名词，像+，=,?这样的那就是标点符号了，当然还有我们无处不在的whitespace了。

令牌解析的目的是什么呢？我的理解里是在字符串解析的过程中标注出你需要的东东。下面开始来正经的了。

>>>s='jack + me =money '
#定制匹配模式，设置你的需求
>>>import re
>>>NAME=r'(?P<NAME>[a-zA-Z_][a-zA-Z_0-9]*)'
>>>PLUS=r'(?P<PLUS>\+)'
>>>EQ=r'(?P<EQ>=)'
>>>WS=r'(?P<WS>\s+)'

>>>your_pat=re.compile('|'.join([NAME,PLUS,EQ,WS]))

到这里，要隆重登场的是模式对象差点被人忘记的scanner，调用scanner方法，返回一个scanner对象，在这个对象上一次次的调用match()来验证我爱不爱你，爱你就匹配出成功，否则，滚蛋吧。

>>>scanner=your_pat.scanner(s)
>>>scanner.match()   #you can see match='jack'
<_sre.SRE_Match object; span=(0, 4), match='jack'>
>>>scanner.match()
<_sre.SRE_Match object; span=(4, 5), match=' '>
>>>scanner.match()
<_sre.SRE_Match object; span=(5, 6), match='+'>
>>>scanner.match()
<_sre.SRE_Match object; span=(6, 7), match=' '>
>>>scanner.match()
<_sre.SRE_Match object; span=(7, 9), match='me'>
>>>scanner.match()
<_sre.SRE_Match object; span=(9, 10), match=' '>
>>>scanner.match()
<_sre.SRE_Match object; span=(10, 11), match='='>
>>>scanner.match()
<_sre.SRE_Match object; span=(11, 12), match=' '>
>>>scanner.match()
<_sre.SRE_Match object; span=(12, 17), match='money'>
>>>scanner.match()
<_sre.SRE_Match object; span=(17, 18), match=' '>
>>>scanner.match()
>>>
#经过一连串的match，终于匹配完成，每match一次，吐出一个匹配的字符串
#显示一下粗暴的展示令牌方法，WS出现了，表示匹配到了一串（n>=1）空格
>>> _.lastgroup,_.group()
('WS', ' ')
```
	
显然，上面的方法太特么累了，每次match()吐一个，幸好我们有生成器这玩意儿：

from collections import namedtuple
def generate_tokens(pat,text):
	Token=namedtuple('Token',['type','value'])
	scanner=pat.scanner(text)
	for item in iter(scanner.match,None):
		yield Token(item.lastgroup,item.group())

上面这几行代码有几行需要解释解释：

1.namedtuple这方法是从collections库中导入的，它是python2.6开始出现的一个工厂函数，它的作用是：
Returns a new tuple subclass named typename. The new subclass is used to create tuple-like objects that have fields accessible by attribute lookup as well as being indexable and iterable.
参考：namedtuple

2.iter，手动迭代，第一个参数表示可以进行迭代调用的对象，第二个参数表示停止标志，在这里，一直迭代调用scanner.match方法，直到返回None停止调用。

3.yield生成器返回函数，类似return，但是yield返回之后程序不会结束，而是继续回来执行

接下来就可以办事了：

>>>for item in generate_tokens(your_pat,s):
	print(item)
('NAME', 'jack')
('WS', ' ')
('PLUS', '+')
('WS', ' ')
('NAME', 'me')
('WS', ' ')
('EQ', '=')
('WS', ' ')
('NAME', 'money')
('WS', ' ')