[CS224n]第一讲 NLP和深度学习入门

一 、什么是自然语言处理(NLP)？

1.NLP是一门横跨了计算机科学、人工智能以及语言学的学科，是人工智能的核心技术之一。目标是让计算机处理和理解自然语言从而可以处理一些实际任务。

2.对语言层次的传统描述：

重点放在句法分析（syntactic analysis）和语义理解（semantic interpretation）方面，简要描述左上角的语音信号分析。

3.NLP的应用

简单的说，拼写检查、关键字搜索时的提醒；复杂些说，使得计算机可以充分理解文档的内容，判断文章的受众以及文章的感情色彩等，更复杂的，完成所有层次的语言理解任务，包括机器翻译、对话系统、智能问答系统等。

4.人类语言的特别之处？

语言不是大量数据的堆叠，而是有指向性地被构造出来传达信息。

语言可以用不同的连续载体（声音、手势等）来传递完全相同的信息，由不同形式的符号来映射信息，虽然普遍认为大脑是一套完全连续运作的系统，但深度学习领域产生的一种思想是我们也可以将大脑想象成具有连续的激活模式，处理过程是从连续到符号再到连续信号的过程。

二、什么是深度学习（Deep Learning）?

深度学习是机器学习的一个分支，强调自动学习。传统的机器学习是人做大量的数据分析，得出特征，然后利用计算机进行数值优化，使得特征前的权重更合理，表现最优，90%的时间都在用于如何描述数据、总结重要特征，只有10%的时间用于计算机的数值优化；深度学习属于表征学习，输入原始信号，计算机寻找中层特征，即多层的习得特征。

 

如今使用的依然是80、90年代的深度学习技术，因为以下几个原因使得深度学习发展迅速

1.海量的数据

2.计算机计算能力的提升

3.新的模型、算法

深度学习成功的例子：语音识别和计算机视觉

三、Deep NLP=Deep Learning+NLP

词义：深度学习和语言都是以词义为起点，使用一个高维向量表示一个词，映射到高维空间使得某些词会聚集到一起（比如国家类的词），为了方便人们更直观地理解，可以使用PCA（主成分分析）或t-SNE映射到2D空间，。

词法（Morphology）：比如uninterested，将前缀、词根、后缀这种当做一个向量，神经网络可以将两个向量结合成为一个向量。

句子结构：找出句子结构，发现句法停顿处，使用神经网络进行依存句法分析。

句子含义（语义）：与传统方法不同，一开始就使用向量表示词，之后就可以用向量表示短语甚至句子。