文章目录 1. 矩阵梯度下降及一些小贴士 1.1 梯度下降 1.2注意事项 1.3 窗口模型中的梯度下降 1.4 使用词向量的陷阱 2. 计算图模型与反向传播 2.1 单个结点的反向传播 2.2 一个具体的例子 2.3 自动求导 3.其他一些注意事项 3.1 正则项 3.2 向量矩阵化 3.3 激活函数 3.4 优化器 课程视频连接:《 深度学习与自然语言处理(4)》 —————————————————————————— 1. 矩阵梯度下降及一些小贴士 1.1 梯度下降 还是上节课的梯度下降,我们首先回顾一下: ∂ s ∂ W = δ ∂