2.数据挖掘：需要了解的数学知识

1.线性代数

• 瑞典数学家Lars Garding在Encounter with Mathematics一书中说：“如果不熟悉线性代数的概念，要去学习自然科学，现在看来就和文盲差不多。”

• 线性代数，概率论、统计学和微积分是数据挖掘用于表述的“语言”。学习这些数学知识将有助于深入理解底层算法机制，便于开发新算法。

• 在互联网大数据中，许多应用场景的分析对象（待处理的非结构化数据）都需要换成离散的矩阵或向量形式，例如，大量用户信息、文本中文本与词汇的关系等等都可以用矩阵表示。

• 线性代数主要研究矩阵与向量、用于处理线性关系。线性关系是指数学对象之间的关系是以一次形式来表达的。线性代数需要解决的第一个问题就是求解线性方程组。

1.1行列式

• 行列式是一个将方阵映射到一个标量的函数，记作det(A)或|A|。行列式也可以看作是有向面积或体积在一般欧几里得空间的推广。或者说是在n维欧几里得空间中，行列式描述的是一个线性变换对“体积”所造成的影响。

• 行列式的意义

• 行列式等于矩阵特征值的乘积。

• 行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或缩小了多少。

• 行列式的正负表示空间的定向。

• 行列式的应用：求矩阵特征值，求解线性方程等。

1.1.1行列式计算

• 二阶行列式

• 三阶行列式

容易看出：右边的每一项都是2个或3个元素的乘积，且这些元素位于不同的列、不同的行。

1.1.2行列式的几何意义

1.2矩阵

1.2.1矩阵的运算

• 矩阵加法：设A=(a_ij)_s×n，B=(b_ij)_s×n都是数域K上的s×n矩阵，矩阵的和定义为C=A+B=(a_ij+b_ij)_s×n。

注：只有矩阵A、B的行列数一样，两矩阵才可以相加。

• 标量和矩阵乘法：设A=(a_ij)_s×n，k∈K，k与矩阵A的乘积定义为kA=(ka_ij)_s×n。标量与矩阵相加同理。

• 矩阵乘法：若矩阵A=(a_ij)_s×n，B=(b_ij)_n×p，则C=AB=(c_ij)_s×p， 其中C_i,j=∑_k▒A_i,kB_k,j，即C_i,j等于矩阵A第i行的所有元素与矩阵B第j列的所有元素一 一对应相乘再相加。

注：矩阵A的列数必须和矩阵B的行数相等，AB才有意义。

1.2.2矩阵与向量运算

1.2.3矩阵的转置

1.2.4单位矩阵和逆矩阵

1.2.5对角矩阵

1.2.6对称矩阵

1.2.7案例

1.3矩阵分解

1.3.1特征值分解

• 特征分解是使用最广的矩阵分解之一，即我们通过将方阵分解成一组特征向量和特征值乘积的方法来发现矩阵表示成数组元素时不明显的函数性质。

• 设A是数域K上的n级矩阵，如果K^n中有非零列向量α使得

Aα=λα，且λϵK，

则称λ是A的一个特征值，称α是A的属于特征值λ的一个特征向量。

例如：

因此，2是A的一个特征值，α是A的属于特征值2的一个特征向量。

• 怎样求矩阵A的特征值与特征向量：

其中，|A−λI|=0称为矩阵A的特征方程，λ为特征方程的解，即特征根，将特征根λ代入Aα=λα即可求得特征向量α。

• 例如：

• 如之前所说，矩阵乘法是对向量进行旋转、压缩。如图所示，如果矩阵作用于某一个向量或某些向量使这些向量只发生伸缩变换，不对这些向量产生旋转及投影的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

• 设A有n个线性无关的特征向量α_1，α_2，⋯，α_n，相对应的特征值为λ_1，λ_2，⋯，λ_n，则A的特征分解为：

A=Pdiag(λ)P^−1，

其中P={α_1，α_2，⋯，α_n}，λ={λ_1，λ_2，⋯，λ_n}。

• 奇异值分解：将矩阵分解为奇异向量和奇异值。可以将矩阵A=(a_ij)_m×n分解为三个矩阵的乘积：A=UΣV^T， 其中U=(b_ij)_m×m，Σ=(c_ij)_m×n，V^T=(d_ij)_n×n。

• 矩阵U和V都为正交矩阵，矩阵U的列向量称为左奇异向量，矩阵V的列向量称为右奇异向量，Σ为对角矩阵（不一定为方阵），Σ对角线上的元素称为矩阵A的奇异值，奇异值按从大到小的顺序排列。

</