自然语言处理笔记001----介绍

自然语言（Natural Language）其实就是人类语言，自然语言处理（NLP）就是对人类语言的处理，当然主要是利用计算机。自然语言处理是关于计算机科学和语言学的交叉学科，常见的研究任务包括：

• 分词（Word Segmentation或Word Breaker，WB）
• 信息抽取（Information Extraction，IE）：命名实体识别和关系抽取（Named Entity Recognition & Relation Extraction，NER）
• 词性标注（Part Of Speech Tagging，POS）
• 指代消解（Coreference Resolution）
• 句法分析（Parsing）
• 词义消歧（Word Sense Disambiguation，WSD）
• 语音识别（Speech Recognition）
• 语音合成（Text To Speech，TTS）
• 机器翻译（Machine Translation，MT）
• 自动文摘（Automatic Summarization）
• 问答系统（Question Answering）
• 自然语言理解（Natural Language Understanding）
• OCR
• 信息检索（Information Retrieval，IR）

早期的自然语言处理系统主要是基于人工撰写的规则，这种方法费时费力，且不能覆盖各种语言现象。上个世纪80年代后期，机器学习算法被引入到自然语言处理中，这要归功于不断提高的计算能力。研究主要集中在统计模型上，这种方法采用大规模的训练语料（corpus）对模型的参数进行自动的学习，和之前的基于规则的方法相比，这种方法更具鲁棒性。