数据酷课—中文分词匹配方法

第一章：自然语言处理介绍（NLP）

NLP的应用

机器翻译

• 将一种自然语言文本翻译成另外一种自然语言文本。
• 发展历程

1. 基于规则的机器翻译：研究源语言和目标语言的语言学信息，用词典和语法生成翻译。
2. 统计机器翻译：基于对双语文本语料库的分析来生成翻译结果。
3. 注意力编码器—解码器网络。

推荐系统

• 推荐系统中需要处理海量用户生成数据和用户行为数据，其中涉及对词、句子、文章的处理，如提取关键字、文本向量化。
  

语音助手、搜索引擎等等

中英文NLP的不同

• 中文没有“词”的边界，英文有“空格”这样的天然间隔符。
• 中文注重意的表达，英文注重形的表达。
• 中文NLP主要研究词性标注（动词、形容词、谓词等）和句法分析（句法树、依存句法分析）。

---

第二章：文本预处理

</