马纳瑞斯曾给自然语言处理(natural language processing)提出以下定义:“自然语言处理可以定义为研究在人与人交际中以及人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断地完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术。”因此自然语言处理是一门交叉学科,涉及语言学、计算机科学、数学、自动化技术等不同的学科。
自然语言处理的内容
自然语言处理的内容十分广泛,大致有以下一些方向:
(1)机器翻译 (2)自动文摘 (3)信息检索 (4)文档分类 (5)问答系统
(6)信息过滤 (7)信息抽取 (8)文本挖掘 (9)舆情分析 (10)隐喻计算 (11)文字编辑和自动校对 (12)作文自动评分 (13)光读字符识别 (14)语音识别 (15)文语转换 (16)人识别
预备知识
那么学习自然语言处理需要哪些先备知识呢?
- 概率论基本概念
- 概率
- 最大似然估计
- 条件概率
- 贝叶斯法则
- 随机变量
- 二项式分布
- 联合概率分布和条件概率分布
- 贝叶斯决策理论
- 期望和方差
- 信息论基本概念
- 熵
- 联合熵和条件熵
- 互信息
- 相对熵
- 交叉熵
- 困惑度
- 噪声信道模型
- 支持向量机
- 线性分类
- 线性不可分
- 构造核函数
那么学习完这些预备知识后就开始学习自然语言处理吧!