代数基础 | Kronecker积
Kronecker积在张量计算中非常常见,是衔接矩阵计算和张量计算的重要桥梁。刚开始接触张量计算的读者可能会被Kronecker积的名称或是符号唬住,但实际上这是完全没有必要的,因为Kronecker积的运算规则是非常容易理解的。
1 Kronecker积的定义
一般而言,给定任意矩阵 和 ,则矩阵 和矩阵 的Kronecker积为
其中,符号 表示Kronecker积。显然,矩阵 的大小为 ,即行数为 、列数为 。当然,这种写法就是我们在线性代数中所学的块状矩阵(block matrix),在定义中,矩阵 的每个元素分别与矩阵 相乘,最终组合成一个大小为 的矩阵。
不过需要注意的是,矩阵 和矩阵 的Kronecker积具有前后顺序,根据Kronecker积的运算规则,我们也可以得到矩阵 和矩阵 的Kronecker积为
其中,矩阵是由矩阵 的每个元素分别与矩阵 相乘得到,这意味着 和 并不相同,Kronecker积不存在交换律。
【例1】给定矩阵 和矩阵 ,分别求 和 。
【解答】根据Kronecker积的定义, 为
同理, 为
在这个例子中,我们既可以直观地感受Kronecker的计算规则,同时也可以发现,这里计算得到的 与 确实不相等。
【例2】给定矩阵 和矩阵 ,试问 是否成立呢?
【解答】根据Kronecker积的定义,有
结合 的计算结果,不难发现, 成立,即对 进行转置实际上与先对矩阵 、 分别转置再进行Kronecker积相乘得到的结果相同。
【例3】给定向量 和向量 ,分别求 和 。
【解答】根据Kronecker积的定义,有
2 Kronecker积的基本性质
在小学数学中,我们学习了很多关于加减乘除的计算定律,可能有些人已经忘了具体的计算定律名称,但这些计算定律却实实在在地烙印在我们的脑海中。在这里,我们不妨以乘法为例,重温一下这些熟悉的概念:
- 乘法交换律:
- 乘法结合律:
- 乘法分配律:
我们已经知道,Kronecker积不存在交换律,但是否存在结合律和分配律呢?即
【性质1】结合律(associativity):
【性质2】分配律(distributivity): ,
这两个性质是否存在?我们不妨先看一下例4和例5。
【例4】给定矩阵 、 和 ,分别求 和 。
【解答】根据Kronecker积的定义,有
从而可得到
【例5】给定矩阵 、 和 ,分别求 和 。
【解答】根据Kronecker积的定义,可得
从这两个例子中稍加归纳,便不难发现,Kronecker积存在结合律和分配律,这两个性质是Kronecker积最为朴素的性质。除此之外,Kronecker还有几个关于矩阵计算的基本性质,它们分别与矩阵的转置、相乘、求逆矩阵相关。
【性质3】给定任意矩阵 和 ,则
这个性质在我们开始介绍Kronecker积定义的时候就已经给出来了。
【性质4】令矩阵 、 、 和 ,则
【证明】
证毕。
【性质5】若矩阵 和 非奇异,则 恒成立。
【证明】根据性质5,由于
故 成立,证毕。
【例6】给定矩阵 和 ,分别求 和 。
【解答】根据Kronecker积的定义,可得
其逆矩阵为
另外,由于
故
当然,从这个例子中也不难发现,当需要计算 时,若利用等价的 先分别计算矩阵 和矩阵 的逆矩阵,则能大大降低对 直接求逆矩阵的计算成本。
3 Kronecker积的特殊性质
就前面已经提到的一些基本性质而言,它们要么是从Kronecker积本身的运算规则中衍生而来的,要么就与矩阵的一些基本运算直接相关,这些基本运算包括了转置、相乘以及求逆矩阵,然而,这些基本运算都不能用于描述矩阵的特征。下面,我们将着重分析Kronecker积得到的矩阵具有怎样的性质,在内容上,我们会介绍一些用于描述矩阵特征的“指标”,这些指标都来自于线性代数,例如,矩阵的迹表示矩阵主对角线元素之和、F-范数表示矩阵所有元素的平方和开根号。归纳来看,有以下五个性质:
- 【性质6】迹:
- 【性质7】F-范数:
- 【性质8】 范数:
- 【性质9】行列式:
- 【性质10】秩:
其中,只有方阵存在矩阵的迹和行列式。当然,这里仅仅是概括性地给出性质,接下来我们来逐个分析这些性质。
【性质6】若矩阵 和 ,则 恒成立。
【例7】给定矩阵 和 ,分别求 、 和 。
【解答】根据矩阵的迹的定义,可得
另外,由于
故 。
【性质7】对于任意给定的矩阵 和 ,有 恒成立。
【例8】给定矩阵 和 ,分别求 、 和 。
【解答】根据F-范数的定义,可得
另外,由于
故 。
【性质8】对于任意给定的向量 和 ,有 恒成立。
【例9】给定向量 和 ,求 、 和 。
【解答】根据 范数的定义,可得
另外,由于
故 。
【性质9】若矩阵 和 ,则 恒成立。
【例10】给定矩阵 和 ,分别求矩阵的行列式 、 和 。
【解答】根据矩阵行列式的定义,可得
【性质10】对于任意给定的矩阵 和 ,有 恒成立。
【例11】给定矩阵 和 ,分别求 、 和 。
【解答】根据Kronecker积的定义,可得
不难看出, ,而 。
4 相关参考
[1] https://archive.siam.org/books/textbooks/OT91sample.pdf
[2] https://www.math.uwaterloo.ca/~hwolkowi/henry/reports/kronthesisschaecke04.pdf