矩阵基础 (1). 行优先和列优先的问题

摘要

本文主要探讨的是“行优先”原则和“列优先”原则的问题。

1. 背景

首先了解“行优先”和“列优先”的知识，这两种方式在数学上的直观描述如下，给定如下矩阵：

根据行优先的原则，其排序方式为

根据列优先的原则，其排序方式为

2. 计算机领域的应用

行列优先原则在计算机领域的应用主要如下。行优先或者列优先没有好坏，但其直接涉及到对内存中数据的最佳存储访问方式。因为在内存使用上，程序访问的内存地址之间连续性越好，程序的访问效率就越高；相应地，程序访问的内存地址之间连续性越差。所以，我们应该尽量在行优先机制的编译器，比如C/C++，CUDA等等上，采用行优先的数据存储方式；在列优先机制的编译器，比如Fortune, Matlab等等上，采用列优先的数据存储方式。但这种思想渗透到编程中之后，代码的质量就会提高一个档次。

3. 以矩阵计算为例（Matlab编译器下测试）

% data
A = [ 1 1
      2 2
      3 3 
      4 4
      5 5
      6 6
      7 7
      8 8
      9 9];
B = [ 1 2 3 4 5 6 7 8 9
      1 2 3 4 5 6 7 8 9];
C = zeros(9,9);

% The method of matrix multiplication in Matlab
tic 
C = A*B;
toc


%　Our impletation method of matrix multiplication
tic
for ra = 1:9 % raws of the matrix A
    for cb = 1:9 % columns of the matrix B
        for len = 1:2 
            C(ra,cb) = A(ra,len)*B(len,cb)+C(ra,cb); 
        end
    end
end
toc


% Optimal method 1 
tic
for cb = 1:9 % columns of the matrix B
    for ra = 1:9 % raws of the matrix A
        for len = 1:2 
            C(ra,cb) = A(ra,len)*B(len,cb)+C(ra,cb); 
        end
    end
end
toc


% Advanced optimal method 2
A = A'; % you can also directly given A = [ 1 2 3 4 5 6 7 8 9 
        %                                   1 2 3 4 5 6 7 8 9];
B = [ 1 2 3 4 5 6 7 8 9
      1 2 3 4 5 6 7 8 9];
tic
for i = 1:9 % columns of the matrix A
    for j = 1:9 % columns of the matrix B
        for len = 1:2
            C(i,j) = A(len,i)*B(len,j)+C(i,j);
        end
    end
end         
toc

4. 测试和分析

测试结果如上图所示，第一个时间为Matlab自带的乘法运算，第二个为我们原始实现的乘法计算，第三个为循环中行列变换（适应列优先编译器的处理）。

最重要的是第四个是本人原创的矩阵乘法方法，简单地说就是将A矩阵转置，然后设计相应的算法实现矩阵乘运算。在这个点上，希望在理解原理的基础上能给读者一些启发。在本例中，这样做效率最高，原因其一是本例中原始数据结构上适合我这样处理；原因其二是这样做的目的是使得任何一个子乘法的处理上，两乘数所在的内存空间上都是连续，而不仅仅是一个连续（注意：这是本文的核心，读者理解透了一定会很有收获，认真看我给出的程序实现。这是核心，不懂的可以交流思想）！

另外，本文中我给出的这个方法是矩阵乘法里面最优的方法，至少数学逻辑上是这样。之所以Matlab自带的乘法计算之所以性能还不错，是因为Matlab自带的运算都是经过优化的，包括硬件加速，系统加速等自己设计的应用很能调用加速方法。