用正则表达式为文本分词

raw = """
     ...
     ...
      """ 

import re

分词一

re.split(r' ', raw)

在空格符处分割文本是最简单的方法

分词二

re.split(r'[ \t\n]+', raw)

或

re.split(r'\s+', raw)

所有空白字符

在正则表达式前加字母“r”，告诉Python解释器按照字面表示对待字符串二不去处理正则表达式中包含的反斜杠字符。

re.split(r'\W+', raw)

或

re,findall(r'\w+', raw)

\W 所有字母、数字和下划线以外的字符

分词三

re.findall(r'\w+|\S\w*)

\S 任何非空白字符。

首先尝试匹配词中字符的所有序列，如果没有找到匹配的，尝试匹配后面跟中词中字符的任何非空白字符。这意味着标点会跟在后面的字符，但两个或两个以上的标点字符序列会被分割。

分词四

re.findall(r"\w+(?:[-']\w+)*|'|[-.(]+|\S\w*", raw)

《\w+([-‘]\w+)*》表示“\w+”后面跟零个或更多“[-‘]\w+”的实例。——加“?:”是因为括号有第二个功能：选择要提取的子字符串。如果要使用括号来指定连接的范围，又不想选择要输出字符串的，必须添加“?:”。

《[-.(]》使得双连字符、省略号和左括号被单独分词。