深度学习--花书 第2章

第2章介绍的是线性代数，记录一些课本里对一些知识点没有掌握的新视角和忘记的知识。
1. 张量： A tensor is something that transforms like a tensor! 一个量, 在不同的参考系下按照某种特定的法则进行变换, 就是张量。
2. 两矩阵相加为对应元素相加。
3. Hadamard乘积（元素对应乘积）：两个矩阵中对应元素的乘积。
4. 生成子空间：原始向量线性组合后所能抵达的点的集合。
最大无关组。
5.奇异矩阵：行列式等于0的方阵。
6.欧几里得距离：在m维空间中两个点之间的真是距离。欧氏距离看成信号相似程度，距离越近就越相似，就越容易相互干扰，误码率就越高。
7.标准正交向量组,就是正交向量组中向量都是单位向量。
8.正交矩阵：正交矩阵受到关注是因为求逆计算代价小。我们需要注意正交矩阵的定义。违反直觉的是，正交矩阵的行向量不仅是正交的，还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵，没有对应的专有术语。
9.一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
特征值和特征向量解释： http://blog.csdn.net/sunshine_in_moon/article/details/45749691
在自然语言处理中，特征值、特征向量可以这样理解： 特征分解出一个任务矩阵的特征值和特征向量， 其中某一特征向量是该任务的某一特征，相对应的特征值变为此特征的重要性程度或者其他数字化指标。奇异值分解、PCA都是提取任务对应特征的一个方法，而现在使用神经网络来提取特征，其实道理都差不多只不过换了一种方式。