自然语言处理导论与Python实践（一）词汇分析

一、前言

  通过复现对应的算法也能够加深对算法的理解。本系列将根据《自然语言处理导论》书中的脉络复现对应的算法，也是非常适合小白入门学习，我们大家一起学习，如有错误的地方欢迎在评论区指正。此外，本系列教程将从书中开始有算法的地方进行介绍，略过了一些理论部分，包括自然语言处理的基本概念、处理范式；等前置基础知识，大家可以通过阅读《自然语言处理导论》来跟上本教程的节奏。

二、词汇分析

  本系列为自然语言处理导论与Python实践系列的第一篇，主要对词汇分析进行介绍，一些语言方面的基础知识（词性、词语规范化）需要大家自行阅读《自然语言处理导论》第二章。词汇分析主要包含分词与词性标注两部分，分词部分将以中文分词为例进行介绍。

2.1 中文分词

  中文分词(Chinese Word Segmentation，CWS)是指将连续字序列转换为对应的词序列的过程，也 可以看做在输入的序列中添加空格或其他边界标记的过程。中文分词任务可以形式化表示为:给定中文句子 c1,c2,⋅⋅⋅,cn,c1,c2,⋅⋅⋅,cn, 其中 cici 为单个字符，输出词序列 w1,w2,⋅⋅⋅,wm,w1,w2,⋅⋅⋅,wm, 其中 wjwj 是中文单词。

  例如:

            复旦大学是中国人自主创办的第一所高等院校。 

            分词结果:复旦大学 | 是 | 中国人 | 自主 | 创办 | 的 | 第一 |