python re —— 自然语言处理与正则表达式

• *：0 或 多个
• ？：任意一个
• [list]：a[xyz]b，a 与 b 之间必须也只能有一个字符，但只能是 x/y/z，也即：axb, ayb, azb
• [!list]：匹配除 list 中的任意单一字符，a[!0-9]b，a与b 之间必须也只能有一个字符，但不能是阿拉伯数字，axb，aab，a-b
• [c1-c2]：[0-9]/[a-z]，a[0-9]b，必须也只能有一个字符，a0b，a1b，a9b；
• {string1, string2, …}：a[abc, xyz, 123]b，a 与 b 之间只能是 abc 或 xyz 或 123 这三个字符串之一；

1. 常用 tricks

• 匹配任意字符：使用 [\s\S]*
  • \s：空白字符
  • \S：非空白符；
  • .*：无法匹配换行符（\n）；
• \w
  • 匹配数字、字母、下划线，[a-zA-Z0-9_]（中括号表示或的关系）
  • \w+与[\w]+：没有区别，匹配连续的字符（数字、字母、下划线）
  • [\w+]：匹配数字、字母、下划线以及+（加号）

2. 正则表达式用于自然语言处理

• 提取字符串中所有的单词：

  def words(txt, lower_case=True):
  	return re.findall(r'\w+', txt.lower())
  

• 词频统计：

  from collections import Counter
  words_counter = Counter(words(open('xx.txt').read()))
  def P(word, N=sum(words_counter.values())):
  	return words_counter[word] / N