花书内容过一遍

前言

表示学习。

这一遍不指望能够学到新的知识，只是想把曾经用到的知识巩固一下。

深度学习的只是AI的一部分

 

LSTM在20世纪就被提出来。

线性代数的知识

推荐了一本书，以后再回过头来看。

我在想我以前高中也喜欢学到痴狂，最后成绩不够好是因为无聊的时间不够多。我们每个人每天都需要有一些无聊的时间来帮助自己大脑得到放松休息，而手机只会增加大脑的负担。

向量默认成列向量。

向量转置默认行向量的意思。

这个符号表示对应元素乘积，不是标准的矩阵乘法。

范数（norms）被广泛应用于多个方面，尤其是用于正则化目的以防止过拟合，并且还可以帮助提高模型的泛化能力。正则化需要用到范数的知识。

通过使用L1或L2正则化，可以使得模型更加简洁和易于解释。例如，L1正则化会倾向于产生稀疏权重，这样可以识别出哪些特征对于预测最重要。

在神经网络训练中，有时会使用范数来控制梯度的大小，以避免梯度爆炸或消失问题。例如，通过梯度裁剪（gradient clipping），可以限制梯度的L2范数不超过某个阈值。

在计算相似度或距离时，范数也可以用来衡量两个向量之间的距离，这对于聚类、推荐系统等任务非常重要。

在一些特定的任务中，如生成对抗网络（GANs）或序列到序列模型（Seq2Seq models），可能会设计包含范数的损失函数来更好地匹配训练目标。

特征分解的知识

奇异值分解

这些运算对于矩阵降维有作用，但不是我要了解的方向。

损失函数的优化原理。

---