自然语言处理的基础知识

最新推荐文章于 2024-06-25 16:15:00 发布

江西师范大学-20届-吴悠

最新推荐文章于 2024-06-25 16:15:00 发布

阅读量1k

点赞数

分类专栏：自然语言处理

本文链接：https://blog.csdn.net/qq_39905917/article/details/98230366

版权

本文介绍了自然语言处理的定义，强调了基于统计与基于规则两种方法的区别。探讨了语言的构成，包括语音、词汇和语法，并提到了图灵测试作为衡量机器智能的标准。文章还列举了自然语言处理的研究方向，如机器翻译、问答系统和文本挖掘等，同时指出处理歧义和系统鲁棒性是关键挑战。最后，简述了自然语言处理的数学基础，包括熵、条件熵和互信息等概念。

摘要由CSDN通过智能技术生成

自然语言处理是什么

——摘自《统计自然语言处理第二版》宗成庆
自然语言处理的定义
美国计算机科学家马纳瑞斯（Bill Manaris）在《从人-机交互的角度看自然语言处理》一文中给自然语言处理提出的如下定义：
自然语言处理（natural language processing, NLP）可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。
基于统计和基于规则的区别
基于统计的自然语言处理的理论基础是哲学中的经验主义，基于规则的自然语言处理的理论基础是哲学中的理性主义。这些问题，说到底，是关于如何处理经验主义和理性主义关系的问题。——P28
语言
语言由语音、词汇和语法构成。语音和文字是构成语言的两个基本属性，语音是语言的物质外壳，文字则是记录语言的书写符号系统［黄伯荣等，1991］。
图灵测试
当时图灵提出这个测试的目的是用来判断计算机是否可以被认为“能思考”。后来这个测试被称为图灵
测试（Turing test），现已被多数人承认。图灵试图解决长久以来关于如何定义思考的哲学争论，他提出了一个虽然主观但可以操作的标准：如果一个计算机系统的表现（act&#x