自然语言处理第三期

1. 基本文本处理技能
   1.1 分词的概念（分词的正向最大、逆向最大、双向最大匹配法）；
   正向最大匹配法：定义一个最大长度，从前向后选取最大长度的字符串，然后与词典的词进行匹配，如果匹配到了就停止，如果没匹配到就去除最后面的一个数，继续匹配，直至匹配到词典的词或剩一个字为止，就为分词；对句子剩下的字符串坐相同处理，最后得到分词。
   例如：句子 = “我今天在学习”，最大长度N=5
   第一轮：
   第一次：”我今天在学”，扫描5字词典，无
   第二次：“我今天在”，扫描4字词典，无
   第三次：“我今天”，扫描3字词典，无
   第四次：“我今”，扫描2字词典，无
   第五次：“我”，切分
   第二轮：
   第一次：”今天在学习”，扫描5字词典，无
   第二次：“今天在学”，扫描4字词典，无
   第三次：“今天在”，扫描3字词典，无
   第四次：“今天”，扫描2字词典，有，切分
   …
   最后分词结果：我/今天/在/学习
   逆向最大匹配法：与正向最大匹配法相反，该方法是从后向前选取最大字符串，然后匹配。
   例如：句子 = “我今天在学习”，最大长度N=5
   第一轮：
   第一次：”今天在学习”，扫描5字词典，无