1. 注意叉乘的顺序与方向

1. 基本性质Tr(A)=Tr(AT)\text{Tr}(\mathrm A)=\text{Tr}(\mathrm A^T)Tr(ABC)=Tr(BCA)=Tr(CAB)\text{Tr}(\mathrm {ABC})=\text{Tr}(\mathrm {BCA})=\text{Tr}(\mathrm {CAB}) 因此如果 A\mathrm A 和 C\mathrm C 互逆的话，三者相乘

T.grad(cost, wrt)，一般接收两个参数，第一个参数表示需要求导的函数，放在深度学习的背景下就是代价函数，wrt（with respect to）表示代价函数所关于的参数（通俗地讲，就叫自变量，f(x)f(x)表示关于xx的函数ff）。T.grad的第一个参数必须是标量。>>> import thenao>>> import theano.tensor as T>>> x = T.d

nn 个 mm 维的样本，Xm×n=[x1,x2,…,xn]X_{m\times n}=\left[\mathrm x_1,\mathrm x_2,\ldots,\mathrm x_n\right]，样本均值定义为：x¯=1n∑i=1nxi\bar {\mathrm x}=\frac1n\sum_{i=1}^n\mathrm x_i散列矩阵定义为如下的半正定矩阵：S=∑j=1n(xj−x¯)(x

1. 矩阵乘法单位矩阵是正定矩阵，zTIz=zTz=∥z∥2 z^{\mathrm{T}}I z =z^Tz=\|z\|^2

xnx_n表示特征向量，是一个列向量（column vector），XX是特征向量组成的样本矩阵，每一列表示一个样本（一次观测值，observation）。 ∑nxnxTn=XXT\sum_nx_nx_n^T=XX^T 也即（整个和式可用内积表示）： (x1,x2,…,xN)⋅⎛⎝⎜⎜⎜⎜⎜xT1xT2⋮xTN⎞⎠⎟⎟⎟⎟⎟=XXT\begin{equation}\begin{pmatrix

考虑同阶方阵 A,BA,B，问它们和的行列式与它们各自行列式的和是否相等：|A+B|=?|A|+|B||A+B|\;=?\; |A|+|B| 结论是二者是不相等的。行列式的性质，我们知道，若行列式某 i 列（行）的元素都是（都可转化为）两数之和，则等于两个行列式之和。

为什么要研究正定矩阵？ 矩阵分解——三角分解（Cholesky 分解） 因为正定矩阵有一些美好的性质，比如存在唯一的 LDULDU 分解，如果为实对称的话，可进一步分解为 GGTGG^T，而矩阵的三角分解带来的的巨大的计算复杂度的下降。而样本的协方差矩阵正是一种实对称正定矩阵。

在维基百科关于 向量空间 的介绍中，并未提及构成向量空间的「向量」的具体形态，即它未必是我们通常理解的3维或者 nn 维的实数空间，只是提及对加法和数乘封闭。这里引入一个新的向量空间，比如：all 3×33\times 3 matrices. 也即矩阵也是一种向量，只不过需要要求矩阵满足加法和数乘，显然满足，即两个 3×33\times 3 的矩阵相加仍然是 3×33\times 3 的矩阵，一个

design matrix（设计矩阵） 是统计学上的概念，一般标记为 XX，是由一组对象的解释变量（explanatory variables）构成的矩阵。1. explanatory variables 刻画的是属性列（feature column），也即一个样本、一个对象都可视为，或者抽象为，符号化为，一个多维向量，向量的每一个 component 表示一定的特征，比如身高，体重等信息，起到

x = A\B;x = mldivide(A, B);matlab 在这里的求解与严格的数学意义是不同的，如果 A 接近奇异，matlab 仍会给出合理的结果，但也会提示警告信息；如果 A 为方阵，如果解存在的话，x = A\B 的解就是 Ax=B（代入就会成立）如果 A 不为方阵，返回的是 Ax=B 的最小二乘解；1. A 和 B 是 full 型矩阵（一般的矩阵） 2. A 为

1. 定义由 Hilbert 1894 年引入的一个方阵，矩阵在各个位置上的值为：Hij=1i+j−1H_{ij}=\frac1{i+j-1}显然 Hij=HjiH_{ij}=H_{ji}，这是一个对称矩阵，由单位分数（unit fraction，分子是 1，分母是正整数）。

1. 解的情况齐次线性方程组 Ax=0Ax=0 有无穷多解，其中 Am×nA_{m\times n} m < n

αu

1. 过渡矩阵与基变换2. 坐标变换

首先判断其行列式（|A||A|）是否等于 0，如果等于 0，就说明不可逆 ；1. 伴随矩阵在线性代数中，一个方形矩阵的伴随矩阵是一个类似于逆矩阵的概念。如果矩阵可逆，那么它的逆矩阵和它的伴随矩阵之间只差一个系数。然而，伴随矩阵对不可逆的矩阵也有定义，并且不需要用到除法。逆矩阵和伴随矩阵只差一个系数；伴随矩阵与原矩阵形成映射关系；AA 的伴随矩阵通过代数余子式定义。

可逆方阵 AA 的逆记为，A−1A^{-1}，需满足 AA−1=IAA^{-1}=I。在 BLAS 的各种实现中，一般都不会直接给出 matrix inverse 的直接实现，其实矩阵（方阵）的逆是可以通过 gemm()和gesvd()操作得到。实值可逆方阵 AA，其 SVD 分解如

复方阵 UU 称为酉矩阵，如果满足：U∗U=UU∗=IU^*U=UU^*=I换句话说，矩阵 UU 的共轭转置 U∗U^* 就是 UU 的逆矩阵。U∗=U−1U^*=U^{-1}1. unitary matrix 保持内积不变⟨Ux,Uy⟩=⟨x,y⟩

之所以专门定义两个新的概念，在于它们特殊的形式，带来的特别的形式。1. Toeplitz matrix对角为常数；n×nn\times n 的矩阵 AA 是 Toepliz 矩阵当且仅当，对于 Ai,jA_{i,j} 有：Ai,j=Ai+1,j+1=ai−jA_{i,j}=A_{i+1,j+1}=a_{i-j}⎡⎣⎢⎢⎢⎢⎢⎢afghibafghcbafgdcbafedcba⎤⎦⎥⎥⎥⎥⎥⎥

1. 基本等式

对偶空间的定义对偶空间的向量与对偶空间的基；

从张量积（tensor product）到多重线性代数

1. 物理（几何）意义detA=output areainput area\det A=\frac{\text{output area}}{\text{input area}}首选，矩阵代表的是线性变换（linear transformation）。上式说明一个矩阵的行列式（detA\det A）几何意义上，代表着，变换后的输出区域的面积与变换前的输入区域的面积之比。考虑一个二维的平面直角坐标系

Dictionary Learning Tools for Matlab.1. 简介字典 D∈RN×KD\in \mathbb R^{N\times K}（其中 K>NK>N），共有 kk 个原子，x∈RN×1x\in \mathbb R^{N\times 1} 在字典 DD 下的表示为 ww，则获取较为稀疏的 ww 的稀疏逼近问题如下表示

矩阵微分（matrix derivatives）1. 字典学习中的最小二乘法使用迭代求解的思路，优化上述问题，固定 WW，上述问题就转换为单目标

零空间；

1. 基本概念 针对高维空间中的数据集，矩阵分解通过寻找到一组基及每一个数据点在该基向量下的表示，可对原始高维空间中的数据集进行压缩表示。

关于矩阵求导，得到的导数则是矩阵形式；关于矢量求导，得到的导数则是矢量形式；关于标量求导，得到的仍是标量形式。共存在 6 种形式的矩阵导数： 1. 关于向量的导数标量对向量求导

1. 最佳求解方案Most efficient way to solve a system of linear equations求解形如 Ax=b 的最佳方式

1. 基本定义在线性规划中，一个对称的 n×nn\times n 的实值矩阵 MM，如果满足对于任意的非零列向量 zz，都有 zTMz>0z^TMz> 0.更一般地，对于 n×nn\times n 的 Hermitian 矩阵（原矩阵=共轭转置，aij=a¯jia_{ij}=\bar a_{ji}，或者 A=AT¯¯¯¯¯A=\overline {A^{T}}），对于任何的非零列向量 zz，z⋆Mz

v1,v2,…,vnv_1,v_2,\ldots,v_n 是内积空间的一组向量，Gram 矩阵定义为： Gij=⟨vi,vj⟩G_{ij}=\langle v_i,v_j\rangle，显然其是对称矩阵。1. 基本性质半正定（positive semidefinite）2. 应用如果 v1,v2,…,vnv_1,v_2,\ldots,v_n 分别是随机向量，则 Gram 矩阵是协方差矩阵；

uBLAS——Boost 线性代数基础程序库 （1）简化命名空间namespace ublas = boost::numeric::ublas;（2）矩阵定义及初始化#include <boost\numeric\ublas\matrix.hpp>int main(int, char**){ ublas::matrix<double> A(3, 3); for (unsign

三角矩阵的性质Cholesky 分解的计算公式

（1）一个对角元素都是1的下三角矩阵，称为单位下三角矩阵。（2）上（下）三角矩阵的乘积仍是上（下）三角矩阵；（3）一般来说，矩阵的三角分解不唯一。（4）实对称正定矩阵 AA，Δk>0\Delta_k>0（k=1,2,⋯,nk=1,2,\cdots,n）三角分解如果方阵 AA 可分解为一个下三角矩阵 LL 和一个上三角矩阵 UU 的乘积，则称 AA 可作三角分解或 LU(LR)LU(LR)

row() vs matrix_row<> ，column() vs matrix_column<>

uBLAS：Basic Linear Algebra Subprograms，基于 Boost 的 C++ 模板类库。（1）其在 Boost 位于的命名空间（namespace）为：boost::numeric::ublas

Cholesky 分解理论矩阵分解——三角分解（Cholesky 分解） 矩阵分解——三角分解（二） 注：只有实对称矩阵才有 Cholesky 分解理论。已知实对称正定矩阵 AA，其 Cholesky 分解形式为：A=LLTA=LL^T，LL 为下三角矩阵，计算 L=(ℓij)L=(\ell_{ij}) 的递推公式为：ℓij=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎛⎝aij−∑k=1j−1

本文主要介绍以 Gauss 消去法为根据导出的矩阵的三角（或 LU）分解。

1. 矩阵向量乘法 1.1 矩阵分块 1.2 从线性组合的观点理解矩阵分块，以及矩阵向量乘法

随机矩阵实际上是一种特殊的非负矩阵（non-negative matrix），非负矩阵是指矩阵元素都是非负（non-negative）的，当然非负要与正矩阵（Positive Matrix，所有元素都大于0）进行细微的区分。References[1] 随机矩阵（stochastic matrix）