基于深度学习的自然语言处理--笔记（第一章）

@第一章 引言

1.1 自然语言处理的挑战

使用计算机理解和产生语言极具挑战性。最为人知的处理语言数据的方法是使用有监督机器学习（supervised machine learning）算法，其试图从事先标注好的输入/输出集和中推导出使用的模式和规则。
机器学习方法擅长那些很难获得规则集，但是相对容易获得给定输入及相应输出样本的领域

1.2 神经网络和深度学习

虽然全部机器学习技术都可以被认为是基于过去的观测学习如何做出预测，但是深度学习方法不仅学习预测，而且学习正确地表示数据，以使其更有助于预测。
给一个巨大的输入-输出映射集合，深度学习方法将数据“喂”给 个网络，其产生输入的后继转换，直到用最终的转换来预测输出。网络产生的转换都学习自给定的输入－输出映射，以便每个转换都使得更易于将数据和期望的标签之间建立联系

1.3 自然语言处理中的深度学习

将神经网络用于语言的一个主要组件是使用嵌入层（ embedding layer ），即将离散的符号映射为相对低维的连续向量。当嵌入单词时，从不同的独立符号转换为可运算的数学对象。特别地，向量之间的距离等价于单词之间的距离。
有两种主要的神经网络结构，即前馈网络（ feed-forward network ）和循环/递归网络
(recurrent/ recursive etwork ），它们可以以各种方式组合。

1. 前馈网络，即多层感知器（Multi-Layer Perceptron,MLP），其输入大小固定，对于变化的输入长度，我们可以忽略元