Deep Learning学习笔记——线性代数

开始DeepLearning的学习笔记，从基础章节线性代数开始。现代术语“深度学习”超越了目前机器学习模型的神经科学观点。它诉诸于学习多层次组合这一更普遍的原理，这一原理也可以应用与那些并非受神经科学启发的机器学习框架。

1. 基本概念
   1. 标量
   2. 向量
   3. 矩阵
   4. 张量
      1. 张量，2维张量在形式上与矩阵一致，1维张量在形式上与向量是一致的。
      2. 张量的长度（一维的长度）等于数据集空间的维度，等于输入神经元的个数。
      3. 张量的数值分布在若干维坐标的规则网络中
      4. 在神经网络的矩阵计算中，张量就是在参数矩阵前后或者等号前面的向量，如下图
      5. 我感觉张量的数学概念很晦涩，意会一下就行
2. 矩阵和向量相乘
3. 单位矩阵和逆矩阵
   1. 逆矩阵必须是一个方阵，所有列向量都是线性无关
   2. 一个列向量线性相关的方阵被称为奇异的
4. 线性相关和生成子空间
   1. 线性组合
   2. 生成子空间、列空间
   3. 线性相关、线性无关
5. 范数
   1. 有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数(norm)的函数衡量向量大小。Lp 范数定义如下：其中p∈R，p≥1
   2. 范数(包括Lp范数)是将向量映射到非负值的函数。直观上来说，向量x的范数衡量从原点到点x的距离。
   3. 当p=2时，L2 范数被称为欧几里得范数(Euclidean norm)。它表示从原点出发到向量x确定的点的欧几里得距离，经常简化为||x||，略去下标2。平方欧几里得范数也经常用来衡量向量的大小，可以简单地通过点积