朱晨光-机器阅读理解:算法与实践读书笔记《第2章 自然语言处理基础》
朱晨光-机器阅读理解:算法与实践读书笔记《第2章 自然语言处理基础》文本分词文本分词基本概要分词方法字节对编码BPEBPE的基本原理
本文章主要以文本分词为入口,介绍词向量、命名实体与词性标注、语言模型等三大块内容。
首先,我们看下文本分词
文本分词
文本分词基本概要
文本分词是自然语言处理中的一项基础但是很重要的任务。我们从分词的任务、挑战来进行介绍。
文本分词任务
文本分词挑战
将文本以单词为基本单元进行划分
单词歧义
如何解决歧义呢?有许多算法被提出来用以解决这个问题,分别从中文分
原创
2020-05-19 21:09:42 ·
619 阅读 ·
0 评论