前言
本文记录了关于深度学习可能用到的一些线性代数背景知识,以供以后学习查阅。
章节浏览
向量
向量空间
矩阵
运算
范数
特征向量与特征值
梯度
向量
向量的含义在wiki中有如下解释,向量是向量空间中的一个元素。
In mathematics and physics, a vector is an element of a vector space.
一般n维向量 的表达式可写成(列向量形式) :
其中是向量的元素,将各元素均为实数的n维向量 记作 。
向量空间
不严谨的说,向量空间是一个向量集合。感兴趣自行wiki以下几个含义:子空间(Subspace),基向量(Basis),维度(Dimension)。
N维向量空间可以由N个基向量构成,N维空间中的任意向量均可以由该N个基向量线性组合产生。
矩阵
矩阵wiki含义如下,即由各个实数元素构成二维空间。向量是一个特殊矩阵,即维矩阵。
In mathematics, a matrix (plural: matrices) is a rectangular array[1] of numbers, symbols, or expressions, arranged in rows and columns.[2][3]
运算
向量运算,两个向量点乘后是一个标量。
矩阵运算包含:转置,加法(两个矩阵需要规模相同),标量乘法,乘积,矩阵kronecker积等。
范数
范数分为向量范数和矩阵范数。向量 的 范数如下:
其向量的范数是该向量元素的绝对值和,范数是该向量元素平方和的平方根。此外,可以思考范数与范数。
矩阵范数主要是诱导范数及Frobenius范数,注意不要混淆矩阵2范数与Frobenius的区别。
特征向量与特征值
此外,对于一个维方阵来说,假设有标量和非零的维向量使得。
那么是矩阵的一个特征向量,标量是对应的特征值,
注意只有方阵才有特征值与特征向量概念,可以思考若矩阵不是方阵呢?奇异值与奇异向量。
*梯度