[NLPCamp]文本预处理常用技术介绍/自然语言处理

自然语言处理简介

自然语言处理，顾名思义，就是使用计算机对语言文字进行处理的相关技术以及应用。

Natural language processing (NLP) is a field of computer science, artificial intelligence and computational linguistics concerned with the interactions between computers and human (natural) languages, and, in particular, concerned with programming computers to fruitfully process large natural language corpora.

早在20世纪50年代，自然语言处理就被提起，但直到20世纪80年代前，自然语言处理的系统大多仅支持有限的词汇并需要大量的人工编写的规则。到了80年代，机器计算能力的飞速提升以及机器学习算法的出现，为自然语言处理领域带来了变革。隐马可夫模型的使用，以及越来越多的基于统计模型的研究，使得系统拥有了更强的对未知输入的处理能力。如今，研究更多的集中于无监督学习或者语义监督学习，比较成功的便是自动翻译系统。近几年，大数据时代的到来，以及深度学习算法的广泛应用，又为自然语言处理带来了新的突破。

在nlp工程中，文本预处理的流程通常包含以下步骤：获取原始文本、分词、文本清洗、标准化、特征提取、建模等。下面我们会分步骤，分别对每一个步骤的常用方法和常用库进行介绍。

1.文本获取

既然如今主流研究使用机器学习或者统计模型的技术，那么一个首要问题就是，如何获取大量的数据？无论是统计还是机器学习，其准确率都建立在样本的好坏上，样本空间是否足够大，样本分布是否足够均匀，这些都将影响算法的最终结果。 获取语料库，一个方法就是去网络上寻找一些第三方提供的语料库，出名的开放语料库比如wiki。但事实上，很多情况中所研究或开发的系统往往是应用于某种特定的领域，这些开放语料库经常无法满足我们的需求。这种时候就需要使用另一种方法，使用爬虫去主动的获取想要的信息。可以使用如pyspider、scrapy等python框架非常轻松地编写出自己需要的爬虫，从而让机器自动地去获取大量数据，从而继续我们的研究。

2.分词

中英文在分词上，由于语言的特殊性导致分词的思路也会不一样。大多数情况下，英文直接使用空格就可以进行分词,例如：

s = 'Introduction to common techniques of text preprocessing'
s.split(' ')