1. 请写出C/C++语言实现矩阵乘法加速的常用方法
如何计算矩阵乘法,这个大家都知道。通常情况下,我们都是用以下代码实现的:
for(i=0;i<n;++i)
for(j=0;j<n;++j){
sum=0;
for(k=0;k<n;++k)
sum+=A[i][k]*B[k][j];
C[i][j]+=sum;
}
但是考虑了高速缓存的问题后,其实有一种更好的实现方式:
for(i=0;i<n;++i)
for(k=0;k<n;++k){
r=A[i][k];
for(j=0;j<n;++j)
C[i][j]+=r*B[k][j];
}
细看一番就会发现这两种实现语义是等价的,但是后者的实际运行效率却比前者高。
那为什么会如此呢?
那是因为CPU读数据时,并不是直接访问内存,而是先查看缓存中是否有数据,有的话直接从缓存读取。而从缓存读取数据比从内存读数据快很多。
当数据不在缓存中时,CPU会将包含数据在内的一个数据块读到缓存,如果程序具有良好空间局部性,那么第一次cache miss后,之后的几次数据访问就可以直接在缓存中完成。除了空间局部性(程序倾向于引用与当前数据邻近的数据)之外,还有时间局部性(程序倾向于引用最近被引用过的数据)。
回到矩阵乘法。(我们只考虑内循环)
前者对矩阵A,有良好的空间局部性,假设一次能缓存四个元素,则每次迭代对于A只有0.25次miss,但是对于B,则不然,因此B是按列访问的,每次访问都会miss,因此每次迭代总的miss数是1.25。
后者对于矩阵C和矩阵B都有良好的局部性,每次迭代都只有0.25词miss,因此总的miss数是0.5。后者每次迭代多了一次存储(对C[i][j]写入),但是即便如此,后者的运行效率也比前者高。
总而言之,要想程序跑得快,就要在程序中多利用局部性,让缓存hold住你的数据,减少访存次数。要知道CPU可以在3个时钟周期内访问到L1 cache,10个时钟周期左右的时间访问到L2 cache。访问内存却要上百个时钟周期,孰快孰慢,很清楚了吧?
2. 找到一个数组中出现频率超过 12 的数,要求时间复杂度 O(N) ,空间复杂度O(1)
主要想法是用一个计数器c和一个变量v,首先将数组的第一个数给变量赋值v,并给计数器+1,此后如果读到相同的数则计数器+1,如果计数器的值小于0则将,刚读入的数赋值给变量v,并重复操作,最后变量v的值便是数组中频率超过
12
的数。如果题目中没指出数组中一定存在超过
12
频率的数的话,则再将数组扫描一遍,看值等于v的元素数量是否大于数组数量的一半。
python实现代码如下:
if __name__ == '__main__':
a = [1,3,4,3,3,7,3,11,3]
count = 1
value = a[0]
for i in xrange(1,len(a)):
if a[i] == value:
count += 1
else:
count -= 1
if count < 0:
count = 1
value = a[i]
count = 0
for i in xrange(0, len(a)):
if a[i] == value:
count +=1
if count > len(a)/2:
print value
3. 找到一个数组中出现频率超过
13
的数,要求时间复杂度
O(N)
,空间复杂度O(1)
此题和上一题类似,主要思想是利用两个计数器和两个变量,首先先将数组的前两个数读入变量,知道读到相同的数则对应的计数器加一,否则读到非两个变量中的数则两个计数器同时减去1,如果计数器的值小于0则将,刚读入的数赋值给变量,并重复操作,最后变量中的值便是数组中频率超过
13
的数。和上一题类似就不贴代码了。
4.二分查找,要求找到数组中第一个满足要求的数
这个没什么好解释的,微软的编程之美上有提到,但是其中起到的第一个改进方法即midIndex = maxIndex + (maxIndex - minIndex)/2,如果用python写的话就不用考虑这点了,因为python随便赋多大值都不会有越界错误。
def bisearch_Left(array, target_value):
max_index = len(array) - 1
min_index = 0
while min_index < max_index-1: #当搜索范围只有两个数停止
mid_index = (max_index + min_index)/2
if target_value <= array[mid_index]: #取等号保证取index较小的数
max_index = mid_index
else:
min_index = mid_index
if array[min_index] == target_value:
return min_index
elif array[max_index] == target_value:
return max_index
else:
return -1;