Speech and Language Processing 阅读笔记 NLP

https://web.stanford.edu/~jurafsky/slp3/ inference

数据集：https://zhuanlan.zhihu.com/p/145436365?utm_source=wechat_session&utm_medium=social&utm_oi=50414917517312

书籍：https://web.stanford.edu/~jurafsky/slp3/

2.1 Regular Expressions

traditional text processing

text normalization: tokenizing, lemmatization（词形还原），stemming（词根）,segmentation（分词）

常用的正则表达式 正则语法

Text Normalization 文本规范化

1. Tokenizing (segmenting) words 分词 Natural Language Toolkit (NLTK)
2. Normalizing word formats 词形式
3. Segmenting sentences 断句text

text processing： 过程

类型	算法
分词	byte-pair encoding, or BPE， MaxMatch.
词根	The Porter stemmer(written rules)
断句	Stanford CoreNLP toolkit： 标点断句

最小编辑距离 edit distance :measuring how similar two strings are.

3 N-gram

$P(X_1,X_2...X_N)={\Pi }_{k=1}^{n}P(X_k|X_{}$