开始DeepLearning的学习笔记,从基础章节线性代数开始。现代术语“深度学习”超越了目前机器学习模型的神经科学观点。它诉诸于学习多层次组合这一更普遍的原理,这一原理也可以应用与那些并非受神经科学启发的机器学习框架。
- 基本概念
- 标量
- 向量
- 矩阵
- 张量
- 张量,2维张量在形式上与矩阵一致,1维张量在形式上与向量是一致的。
- 张量的长度(一维的长度)等于数据集空间的维度,等于输入神经元的个数。
- 张量的数值分布在若干维坐标的规则网络中
- 在神经网络的矩阵计算中,张量就是在参数矩阵前后或者等号前面的向量,如下图
- 我感觉张量的数学概念很晦涩,意会一下就行
- 矩阵和向量相乘
- 单位矩阵和逆矩阵
- 逆矩阵必须是一个方阵,所有列向量都是线性无关
- 一个列向量线性相关的方阵被称为奇异的
- 线性相关和生成子空间
- 线性组合
- 生成子空间、列空间
- 线性相关、线性无关
- 范数
- 有时我们需要衡量一个向量的大小。在机器学习中,我们经常使用被称为范数(norm)的函数衡量向量大小。Lp 范数定义如下:其中p∈R,p≥1
- 范数(包括Lp范数)是将向量映射到非负值的函数。直观上来说,向量x的范数衡量从原点到点x的距离。
- 当p=2时,L2 范数被称为欧几里得范数(Euclidean norm)。它表示从原点出发到向量x确定的点的欧几里得距离,经常简化为||x||,略去下标2。平方欧几里得范数也经常用来衡量向量的大小,可以简单地通过点积