NLP学习笔记(一)

可浏览
https://tingshushaw.github.io/2019/09/21/NLP/NLP1/

NLP相关介绍

自然语言处理(NLP)的定义

从研究现状来看，自然语言理解和处理的理论体系尚未真正建立，技术方法仍然十分初步，所以对于什么是NLP没有一个标准的定义，此下几点为本人收集的关于NLP的概念界定

1. WiKi中的定义：自然语言处理（英语：Natural Language Processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。
2. 冯志伟学者在1996年出版的《自然语言的计算机处理》中曾经提到：自然语言处理就是利用计算机为工具对人类特有的书面形式和口头形式的语言进行各种类型处理和加工技术。但该定义比较笼统。
3. 美国计算机科学家马纳瑞斯在《从人-机交互的角度看自然语言处理》一文中给出NLP的定义：自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型，建立计算机框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用的系统，并探讨这些实用系统的测评技术。

研究NLP两个主要派别

目前主流研究方式分为两个学派：其一是基于规则的理性主义，另一是基于统计的经验主义。但是目前大多学者认为基于统计的经验主义更能达到研究目的

基于规则的理性主义的优缺点

优点	缺点
规则的形式描述能力和形式生成能力 有效地处理句法中的长距离依存关系 方法易懂，表达清晰 可分析与生成双向使用 多为应用 与计算机科学中的高校算法兼容	语言模型已脆，鲁棒性差 知识密集研究，工作强度大 计算机无法进行自动泛化 针对性强，难以更改 更新后数据难以利用

基于统计的经验主义优缺点

优点	缺点
自动&有效 易于通过扩大语料库来提高性能 易于与理性主义方法结合	效率因符号类别数量增加而降低 废时、废力 数据的稀疏问题增加