【研1深度学习】《神经网络和深度学习》阅读笔记及其与知识点记录(记录中......

9.27

1. 语义鸿沟： 是指输入数据的底层特征和高层语义信息之间的不一致性和查一下。如果可以有一个好的表示在某种程度上能够反映出数据的高层语义特征，那么我们就能相对容易的构建后续的机器学习模型。
2. 嵌入（Embedding）： 将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能地保持不同对象之间的拓扑关系。
3. 端到端的训练： 在学习过程中不进行分模块或分阶段的训练，直接优化任务的总体目标。
4. 梯度消失问题阻碍神经网络的进一步发展，特别是循环神经网络。为了解决这个问题，研究人员采用两步来训练一个多层的循环神经网络：第一步为通过无监督学习的方式来逐层训练每一步循环神经网络，即预测下一个输入；第二部通过反向传播算法进行精调。
5. 过拟合问题往往是由于训练数据少和噪声以及模型能力强等原因造成的。为了解决过拟合问题，一般在经验风险最小化的基础上再引入参数的正则化来限制模型能力，使其不要过渡地最小化经验风险。这种就是结构风险最小化。
6. 超参数： 用来定义模型结构或优化策略的参数。
7. 最简单、常用的优化算法为梯度下降，首先初始化参数，然后按照下面迭代公式来计算风险函数的最小值：
   $${\theta }_{t+1}={\theta }_t-\alpha \frac{\partial R_D(\theta )}{\partial \theta }$$,其中 α