机器学习的数学基础(二、线性代数)(阅读笔记------1.行列式)
机器学习的数学基础-(二、线性代数)
原文链接:https://zhuanlan.zhihu.com/p/36584206
推荐 同济大学数学系编写的《工程数学------线性代数》第六版
出版社:高等教育出版社 出版时间:2014年06月
稳居当当教科书畅销书单前列。
1. 行列式
1.1. 二阶与三阶行列式
用消元法求解二元线性方程组,由此引入二阶行列式,并扩展到三阶行列式。
1.2. 全排列与对换
当某个元素的先后次序与标准次序不同时,就说它构成了一个逆序。
一个排列中所有逆序的总数叫做这个排列的逆序数。
逆序数为奇数的队列叫做奇排列。逆序数为偶数的队列叫做偶排列。
定理 一个排列中的任意两个元素对换,排列改变奇偶性。
1.3. n阶行列式的定义
假设有 n 2 n^2 n2个数,排成n行n列的数表
a 11 a 12 ⋯ a 1 m a 21 a 22 ⋯ a 2 m ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n m \begin{matrix} a_{11} & a_{12} & \cdots & a_{1m} \\ a_{21} & a_{22} & \cdots & a_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots\ & a_{nm} \\ \end{matrix} a11a21⋮an1a12a22⋮an2⋯⋯⋱⋯ a1ma2m⋮anm
作出表中位于不同行不同列的n个数的乘积,并冠以符号
(
−
1
)
t
(-1)^t
(−1)t,得到形如
(
−
1
)
t
a
1
p
1
a
2
p
2
.
.
.
a
n
p
n
\begin{matrix} (-1)^ta_{1p_1} a_{2p_2}& ... & a_{np_n} \end{matrix}
(−1)ta1p1a2p2...anpn
的项,其中
p
1
p
2
.
.
.
p
n
p_1p_2 ... p_n
p1p2...pn为自然数
1
,
2
,
.
.
.
,
n
1,2, ... ,n
1,2,...,n的一个排列,t为这个排列的逆序数。由于这样的排列共有n!个,因为形如上式的项共有n!项。所有这n!项的代数和
∑
(
−
1
)
t
a
1
p
1
a
2
p
2
.
.
.
a
n
p
n
\begin{matrix} \sum(-1)^ta_{1p_1} a_{2p_2}& ... & a_{np_n} \end{matrix}
∑(−1)ta1p1a2p2...anpn
称为n阶行列式(n-order determinant),记作
D
=
∣
a
11
a
12
.
.
.
a
1
n
a
21
a
23
.
.
.
a
2
n
.
.
.
.
.
.
.
.
.
a
n
1
a
n
3
.
.
.
a
n
n
∣
D= \begin{vmatrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{23} & ... & a_{2n} \\ & & ......... & \\ a_{n1} & a_{n3} & ... & a_{nn} \\ \end{vmatrix}
D=∣∣∣∣∣∣∣∣a11a21an1a12a23an3..................a1na2nann∣∣∣∣∣∣∣∣
主对角线以下(上)的元素都为0的行列式叫做上(下)三角形行列式。
主对角线以下和以上都为0的行列式叫做对角行列式。
1.4. 行列式的性质
性质1 行列式与它的转置行列式相等。
性质2 对换行列式的两行(列),行列式变号。
性质3 行列式的某一行(列)中所有元素都同乘同一个数k,等于用数k乘以此行列式。
性质4 行列式中如果有两行(列)元素成比例,则此行列式等于零。
性质5 若行列式的某一行(列)的元素都是两数之和:
D
=
∣
a
11
a
12
.
.
.
a
1
n
.
.
.
.
.
.
.
.
.
a
i
1
+
a
i
1
′
a
i
2
+
a
i
2
′
.
.
.
a
i
n
+
a
i
n
′
.
.
.
.
.
.
.
.
.
a
n
1
a
n
3
.
.
.
a
n
n
∣
D= \begin{vmatrix} a_{11} & a_{12} & ... & a_{1n} \\ & & ......... & \\ a_{i1}+ a^{'}_{i1} & a_{i2}+ a^{'}_{i2} & ... &a_{in}+ a^{'}_{in} \\ & & ......... & \\ a_{n1} & a_{n3} & ... & a_{nn} \\ \end{vmatrix}
D=∣∣∣∣∣∣∣∣∣∣a11ai1+ai1′an1a12ai2+ai2′an3...........................a1nain+ain′ann∣∣∣∣∣∣∣∣∣∣
则D等于下列两个行列式之和:
D
=
∣
a
11
a
12
.
.
.
a
1
n
.
.
.
.
.
.
.
.
.
a
i
1
a
i
2
.
.
.
a
i
n
.
.
.
.
.
.
.
.
.
a
n
1
a
n
3
.
.
.
a
n
n
∣
+
∣
a
11
a
12
.
.
.
a
1
n
.
.
.
.
.
.
.
.
.
a
i
1
′
a
i
2
′
.
.
.
a
i
n
′
.
.
.
.
.
.
.
.
.
a
n
1
a
n
3
.
.
.
a
n
n
∣
D= \begin{vmatrix} a_{11} & a_{12} & ... & a_{1n} \\ & & ......... & \\ a_{i1}& a_{i2} & ... &a_{in} \\ & & ......... & \\ a_{n1} & a_{n3} & ... & a_{nn} \\ \end{vmatrix} + \begin{vmatrix} a_{11} & a_{12} & ... & a_{1n} \\ & & ......... & \\ a^{'}_{i1} & a^{'}_{i2} & ... &a^{'}_{in} \\ & & ......... & \\ a_{n1} & a_{n3} & ... & a_{nn} \\ \end{vmatrix}
D=∣∣∣∣∣∣∣∣∣∣a11ai1an1a12ai2an3...........................a1nainann∣∣∣∣∣∣∣∣∣∣+∣∣∣∣∣∣∣∣∣∣a11ai1′an1a12ai2′an3...........................a1nain′ann∣∣∣∣∣∣∣∣∣∣
性质6 把行列式的某一行(列)的各元素乘同一个数然后加到另一行(列)对应的元素上去,行列式不变。
1.5. 行列式按行(列)展开
在n阶行列式中,把(i,j)元
a
i
j
a_{ij}
aij所在的第i行和第j列划去后,留下来的n-1阶行列式叫做(i,j)元
a
i
j
a_{ij}
aij的余子式,记作
M
i
j
M_{ij}
Mij;记
A
i
j
=
(
−
1
)
i
+
j
M
i
j
A_{ij} = (-1)^{i+j}M_{ij}
Aij=(−1)i+jMij
$A_{ij}
叫
做
(
i
,
j
)
元
叫做(i,j)元
叫做(i,j)元a_{ij}$的代数余子式。
引理 一个n阶行列式,如果其中第i行所有元素除(i,j)元
a
i
j
a_{ij}
aij外都为零,那么这个行列式等于
a
i
j
a_{ij}
aij与它的代数余子式的乘积,即
D
=
a
i
j
A
i
j
D = a_{ij}A_{ij}
D=aijAij
定理2 行列式等于它的任一行(列)的各元素与对应的代数余子式乘积之和,即
D
=
a
i
1
A
i
1
+
a
i
2
A
i
2
+
.
.
.
+
a
i
n
A
i
n
(
i
=
1
,
2
,
.
.
.
,
n
)
D = a_{i1}A_{i1}+a_{i2}A_{i2}+...+a_{in}A_{in} \qquad (i=1,2,...,n)
D=ai1Ai1+ai2Ai2+...+ainAin(i=1,2,...,n)
或
D = a 1 i A 1 i + a 2 i A 2 i + . . . + a n i A n i ( i = 1 , 2 , . . . , n ) D = a_{1i}A_{1i}+a_{2i}A_{2i}+...+a_{ni}A_{ni} \qquad (i=1,2,...,n) D=a1iA1i+a2iA2i+...+aniAni(i=1,2,...,n)
这个定理叫做行列式按行(列)展开法则。
范德蒙德(Vandermonde)行列式
D
n
=
∣
1
2
.
.
.
1
x
1
x
2
.
.
.
x
n
x
1
2
x
2
2
.
.
.
x
n
2
.
.
.
.
.
.
.
.
.
x
1
n
−
1
x
2
n
−
1
.
.
.
x
n
n
−
1
∣
=
∏
n
≥
i
≥
j
≥
1
(
x
i
−
x
j
)
D_n= \begin{vmatrix} 1 & 2 & ... & 1 \\ x_1 & x_2 & ... & x_n \\ x^2_1 & x^2_2 & ... & x^2_n \\ & & ......... & \\ x^{n-1}_1 & x^{n-1}_2 & ... & x^{n-1}_n \\ \end{vmatrix} =\prod_{n \geq i \geq j \geq 1}{(x_i-x_j)}
Dn=∣∣∣∣∣∣∣∣∣∣1x1x12x1n−12x2x22x2n−1.....................1xnxn2xnn−1∣∣∣∣∣∣∣∣∣∣=n≥i≥j≥1∏(xi−xj)
推论 行列式某一行(列)的元素与另一行(列)的对应元素的代数余子式乘积之和等于零,即
D
=
a
i
1
A
j
1
+
a
i
2
A
j
2
+
.
.
.
+
a
i
n
A
j
n
(
i
≠
j
)
D = a_{i1}A_{j1}+a_{i2}A_{j2}+...+a_{in}A_{jn} \qquad (i\neq j)
D=ai1Aj1+ai2Aj2+...+ainAjn(i=j)
或
D = a 1 i A 1 j + a 2 i A 2 j + . . . + a n i A n j ( i ≠ j ) D = a_{1i}A_{1j}+a_{2i}A_{2j}+...+a_{ni}A_{nj} \qquad (i\neq j) D=a1iA1j+a2iA2j+...+aniAnj(i=j)