Basic Knowledge of Math

前言


本文记录了关于深度学习可能用到的一些线性代数背景知识,以供以后学习查阅。

 

章节浏览


向量

向量空间

矩阵

运算

范数

特征向量与特征值

梯度


 


向量

向量的含义在wiki中有如下解释,向量是向量空间中的一个元素。

In mathematics and physics, a vector is an element of a vector space.

一般n维向量 x 的表达式可写成(列向量形式m\times 1) :

x = [x_{1} x_{2} \cdot \cdot \cdot x_{n}]^{T}

其中x_{1}\cdot \cdot \cdot x_{2}是向量的元素,将各元素均为实数的n维向量 x 记作 x\in R^{n}

向量空间

不严谨的说,向量空间是一个向量集合。感兴趣自行wiki以下几个含义:子空间(Subspace),基向量(Basis),维度(Dimension)。

N维向量空间可以由N个基向量构成,N维空间中的任意向量均可以由该N个基向量线性组合产生。

矩阵

矩阵wiki含义如下,即由各个实数元素构成二维空间m\times n。向量是一个特殊矩阵,即m\times 1维矩阵。

In mathematics, a matrix (plural: matrices) is a rectangular array[1] of numberssymbols, or expressions, arranged in rows and columns.[2][3] 

运算

向量运算,两个向量点乘后是一个标量。

矩阵运算包含:转置,加法(两个矩阵需要规模相同),标量乘法,乘积,矩阵kronecker积等。

范数

范数分为向量范数和矩阵范数。向量 x 的 L_{P} 范数如下:

其向量的L_{1}范数是该向量元素的绝对值和,L_{2}范数是该向量元素平方和的平方根。此外,可以思考L_{0}范数与L_{\infty }范数。

矩阵范数主要是诱导范数及Frobenius范数,注意不要混淆矩阵2范数与Frobenius的区别。

特征向量与特征值

此外,对于一个n维方阵A来说,假设有标量\lambda和非零的n维向量v使得Av=\lambda v

那么v是矩阵A的一个特征向量,标量\lambdav对应的特征值,

注意只有方阵才有特征值与特征向量概念,可以思考若矩阵不是方阵呢?奇异值与奇异向量。

*梯度

 


 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值