今天这篇文章是本专栏的最后一篇,感谢大家可以坚持学习到这里!
在“第 1 部分:深度学习基础知识”中,我们知道了自然语言处理的几大热门研究领域,每个主题介绍了一些经典的研究论文,让大家可以对 NLP 有一个全局的了解。介绍了神经网络的基础知识,用 3W 方法解释了深度学习的常用核心概念,还有应用深度学习的 8 个基本步骤,并学习了 TensorFlow 1&2、Keras 的使用。这些都是我们开展后续模型理论和实战应用学习的基础。
第 2 部分:循环神经网络基础,这一部分我们对 RNN 和 LSTM 的模型结构,数学原理,模型的前向计算和反向传播的推导,模型的思想都做了非常详细的讲述。很多人可能会觉得现在是 Attention 的时代,这些模型都要过时了,其实不然,每个模型都有它适用的问题范围,在面对一个问题时,可以尝试所有适合做这个问题的模型,再找到其中最优的。另外,我觉得最有价值的是这些模型用到的基础数学工具,比如仅仅将一个简单的线性函数和一个简单的非线性函数组合起来就能起到控制信号记忆信息的作用,它们就像是一个 LEGO 零件一样,在我们需要建立模型解决自己的实际问题时,就可以把具有相应功能的组件用起来。
第 3 部分:词嵌入中,我们也细致地学习了 CBOW、Skip