深度学习和自然语言处理NLP-转自知乎

作者：网易云
链接：https://www.zhihu.com/question/58300302/answer/400904409
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

从根本上说，深度学习在 NLP 问题上的优势有三，这是传统机器学习方法所不具备的。表达能力：利用深度学习，文本、图像等不同格式都可以表示为实值向量，这使得我们可以跨多种模式执行信息处理。例如，在图像检索中将查询（文本）与图像进行匹配并找到最相关图像变得可行，因为它们都可以表示为向量。可训练性：深度学习让我们可以为应用执行端到端的训练，从而快速、高质量地解决问题，因为深度神经网络使得数据中的信息能在模型中被有效“编码”。例如，在神经机器翻译（NMT）中，模型完全由平行语料库（parallel corpora）自动构建，通常不需要人为干预。与统计机器翻译的传统方法相比，这显然是一个优势，特征工程对于后者是至关重要的。可推广性：机器对未经训练的数据也可以执行预测。可以更为全面地理解深度学习用于 NLP 的优势与挑战。优势：擅长模式识别问题数据驱动，且在很多问题上性能都很高端到端训练，构建系统时很少需要或不需要领域知识（当然这一点也有争议）表示学习，使得跨模式处理可行基于梯度的学习，学习算法很简单主要是监督学习方法挑战：不擅长推理和决策不能直接处理符号数据饥渴，在数据量较小时不适用难以处理长尾现象模型通常是一个黑盒子，可解释性差计算成本很高无监督学习方法有待突破仍然缺乏理论基础