本专栏是学习王争老师的《数据结构与算法之美》的学习总结,详细内容可以去学习王争老师的专栏,希望大家都能够有所收获。同时也欢迎大家能够与我一起交流探讨!
数组在编程中无处不在,每一种编程语言中,基本都会有数组这种数据类型。它不仅仅是一种编程语言中的数据类型,还是一种最基础的数据结构。
一、如何实现随机访问?
数组(Array)是一种线性表
数据结构。它用一组连续的内存空间
,来存储一组具有相同类型
的数据。
针对上述的概念,理解几个关键词。
一是线性表(Linear List),顾名思义,线性表就是数据排成像一条线一样的结构。每个线性表上的数据最多只有前和后两个方向。除了数组外,链表、队列、栈等也是线性表结构。
而与它相对立的概念是非线性表,比如二叉树、堆、图等。之所以叫非线性,是因为,在非线性表中,数据之间并不是简单的前后关系。
二是连续的内存空间和相同类型的数据。
正是由于这两个限制,数组还有了:“随机访问” 的特性。但有利就有弊,这两个限制也让数组的很多操作变得非常低效,比如要想在数组中删除、插入一个数据,为了保证连续性,就需要做大量的数据搬移工作。
数组是如何实现根据下标随机访问数组元素?
例如一个长度为 10 的 int 类型的数组 int[] a = new int[10]。计算机给数组 a[10],分配了一块连续内存空间 1000~1039,其中,内存块的首地址为 base_address = 1000。
计算机会给每个内存单元分配一个地址,计算机通过地址来访问内存中的数据。当计算机需要随机访问数组中的某个元素时,它会首先通过下面的寻址公式,计算出该元素存储的内存地址:
a[i]_address = base_address + i * data_type_size
寻址公式中,data_type_size
表示数组中每个元素的大小。在例子中,数组存储的是 int 类型数据,因此data_type_size
为 4 个字节。
这里有一个误区,在遇到问数组和链表的区别时,大多数回答都是 “链表适合插入、删除,时间复杂度 O(1);数组适合查找,查找时间复杂度为 O(1)”。但实际上这种表述是不准确的。数组是适合查找操作,但是查找的时间复杂度并不为 O(1)。即便是排好序的数组用二分查找,时间复杂度也是 O(logn)。所以,正确的表述应该是,数组支持随机访问,根据下标随机访问的时间复杂度为 O(1)。
二、低效的“插入”和“删除”
数组为了保持内存数据的连续性,会导致插入、删除这两个操作比较低效。具体为什么会导致低效?又有哪些改进方法呢?
1. 插入操作
假设数组的长度为 n,如果需要将一个数据插入到数组中的第 k 个位置。为了把第 k 个位置腾出来,给新来的数据,需要将第 k~n 这部分的元素都顺序地往后挪一位。
那插入操作的时间复杂度是多少呢?
- 如果在数组的末尾插入元素,那就不需要移动数据了,这时的时间复杂度为 O(1);
- 如果在数组的开头插入元素,那所有的数据都需要依次往后移动一位,所以最坏时间复杂度是 O(n);
- 每个位置插入元素的概率是一样的,所以平均情况时间复杂度为 (1+2+…n)/n=O(n)。
如果数组中的数据是有序的,我们在某个位置插入一个新的元素时,就必须按照刚才的方法搬移 k 之后的数据。
但是,如果数组中存储的数据并没有任何规律,数组只是被当作一个存储数据的集合。在这种情况下,如果要将某个数据插入到第 k 个位置,为了避免大规模的数据搬移,我们还有一个简单的办法就是,直接将第 k 位的数据搬移到数组元素的最后,把新的元素直接放入第 k 个位置。
举个例子,假设数组 a[10]中存储了如下 5 个元素:a,b,c,d,e。
现在需要将元素 x 插入到第 3 个位置。我们只需要将 c 放入到 a[5],将 a[2]赋值为 x 即可。最后,数组中的元素如下: a,b,x,d,e,c。
用这种处理技巧,在特定场景下,在第 k 个位置插入一个元素的时间复杂度就会降为 O(1)。这种处理思想在快排中也有运用到。
2. 删除操作
跟插入数据类似,如果我们要删除第 k 个位置的数据,为了内存的连续性,也需要搬移数据,不然中间就会出现空洞,内存就不连续了。
和插入类似:
- 如果删除数组末尾的数据,则最好情况时间复杂度为 O(1);
- 如果删除开头的数据,则最坏情况时间复杂度为 O(n);
- 平均情况时间复杂度也为 O(n)。
实际上,在某些特殊场景下,并不一定非得追求数组中数据的连续性。如果我们将多次删除操作集中在一起执行,删除的效率是不是会提高很多呢?
例如,数组 a[10]中存储了 8 个元素:a,b,c,d,e,f,g,h。现在要依次删除 a,b,c 三个元素。
为了避免 d,e,f,g,h 这几个数据会被搬移三次,可以先记录下已经删除的数据。每次的删除操作并不是真正地搬移数据,只是记录数据已经被删除。
当数组没有更多空间存储数据时,我们再触发执行一次真正的删除操作,这样就大大减少了删除操作导致的数据搬移。
三、警惕数组的访问越界问题
分析如下C语言代码
int main(int argc, char* argv[]){
int i = 0;
int arr[3] = {0};
for(; i<=3; i++){
arr[i] = 0;
printf("hello world\n");
}
return 0;
}
这段代码的运行结果并非是打印三行“hello word”,而是会无限打印“hello world”,这是为什么呢?
因为,数组大小为 3,a[0],a[1],a[2],而我们的代码因为书写错误,导致 for 循环的结束条件错写为了 i<=3 而非 i<3,所以当 i=3 时,数组 a[3]访问越界。
在 C 语言中,只要不是访问受限的内存,所有的内存空间都是可以自由访问的。根据前面讲的数组寻址公式,a[3]也会被定位到某块不属于数组的内存地址上,而这个地址正好是存储变量 i 的内存地址,那么 a[3]=0 就相当于 i=0,所以就会导致代码无限循环。
数组越界在 C 语言中是一种未决行为,并没有规定数组访问越界时编译器应该如何处理。
因为访问数组的本质就是访问一段连续内存,只要数组通过偏移计算得到的内存地址是可用的,那么程序就可能不会报任何错误。
这种情况下,一般都会出现莫名其妙的逻辑错误,就像刚刚举的那个例子,debug 的难度非常的大。而且,很多计算机病毒也正是利用到了代码中的数组越界可以访问非法地址的漏洞,来攻击系统,所以写代码的时候一定要警惕数组越界。
但并非所有的语言都像 C 一样,把数组越界检查的工作丢给程序员来做,像 Java 本身就会做越界检查,比如下面这几行 Java 代码,就会抛出 java.lang.ArrayIndexOutOfBoundsException
。
int[] a = new int[3];
a[3] = 10;
四、容器能否完全替代数组?
针对数组类型,很多语言都提供了容器类,比如 Java 中的 ArrayList、C++ STL 中的 vector。在项目开发中,什么时候适合用数组,什么时候适合用容器呢?
在Java中,ArrayList应该不陌生,它与数组相比有哪些优势呢?
1、ArrayList 最大的优势就是可以将很多数组操作的细节封装起来。比如前面提到的数组插入、删除数据时需要搬移其他数据等。
2、此外ArrayList还支持动态扩容。
- 由于需要分配连续的内存空间,数组本身在定义时需要预先指定大小。如果申请了大小为10的数组,当需要插入第11个元素时,就需要重新分配一块更大的空间,将原来的数据复制到新的数组,再将数据插入到数组中。
- 如果使用ArrayList,就不需要关心底层的扩容逻辑,每次存储空间不够时,它会自动将空间扩容为1.5倍大小。
- 不过需要注意,因为扩容操作涉及内存申请和数据搬移,是比较耗时的。所以,如果事先能确定需要存储的数据大小,最好在创建 ArrayList 的时候事先指定数据大小,能够省掉很多次内存申请和数据搬移操作。
但数组并非无用武之地,有些场景下使用数组会更加合适,例如:
- Java ArrayList 无法存储基本类型,比如 int、long,需要封装为 Integer、Long 类,而 Autoboxing(自动装箱)、Unboxing(自动拆箱) 则有一定的性能消耗,所以如果特别关注性能,或者希望使用基本类型,就可以选用数组。
- 如果数据大小事先已知,并且对数据的操作非常简单,用不到 ArrayList 提供的大部分方法,也可以直接使用数组。
- 当要表示多维数组时,用数组往往会更加直观。比如 Object[][] array;而用容器的话则需要这样定义:ArrayList > array。
总结一下,对于业务开发,直接使用容器就足够了,省时省力。毕竟损耗一丢丢性能,完全不会影响到系统整体的性能。但如果做一些非常底层的开发,比如开发网络框架,性能的优化需要做到极致,这个时候数组就会优于容器,成为首选。
五、为什么许多变成语言数组下标从0开始?
从数组存储的内存模型上来看,“下标”最确切的定义应该是“偏移(offset)”。
如果用 a 来表示数组的首地址,a[0]就是偏移为 0 的位置,也就是首地址,a[k]就表示偏移 k 个 type_size 的位置,所以计算 a[k]的内存地址只需要用这个公式:
a[k]_address = base_address + k * type_size
如果数组从1开始计数,则计算内存地址的公式变为:
a[k]_address = base_address + (k-1)*type_size
对比两个公式可以发现,从 1 开始编号,每次随机访问数组元素都多了一次减法运算,对于 CPU 来说,就是多了一次减法指令。
数组作为非常基础的数据结构,通过下标随机访问元素也是非常基础的操作,效率的优化要尽可能做到极致,所以为了减少一次减法操作,数组选择了从下标0开始,而不是下标1。
六、总结
1、数组(Array)是一种线性表数据结构。它用一组连续的内存空间,来存储一组具有相同类型的数据。其特点有两种,一是线性表,数据排成像线一样的结构,二是使用连续的存储空间存放相同的数据类型。因而这两个特点,数据能够实现“随机访问”。
2、数组通过以下的公式,实现根据下标随机访问数组元素:
a[i]_address = base_address + i * data_type_size
其中,base_address 为首地址,data_type_size 表示数组中每个元素的大小。
3、数组中存在低效插入的情况,当需要将数据插入到数组的第k个位置时,需要将第 k~n 这部分的元素都顺序地往后挪一位。在数组有序的情况下插入,可能需要照搬数据,但在数组无序的情况下插入数据,可以通过直接将第 k 位的数据搬移到数组元素的最后,把新的元素直接放入第 k 个位置的方法避免大规模的数据搬迁。
4、同样数组也存在低效删除的情况,如果要删除第 k 个位置的数据,为了内存的连续性,也需要搬移数据,不然中间就会出现空洞,内存就不连续了。但在某些特殊场景下,并不一定非得追求数组中数据的连续性。可以将多次删除操作集中在一起执行,提高删除的效率。
5、在操作数组时出现数组越界,若像C语言这样并没有规定数组访问越界时编译器应该如何处理,则会提高debug的难度。访问数组的本质就是访问一段连续内存,只要数组通过偏移计算得到的内存地址是可用的,那么程序就可能不会报任何错误。此外,很多计算机病毒也正是利用到了代码中的数组越界可以访问非法地址的漏洞,来攻击系统,所以写代码的时候一定要警惕数组越界。
6、容器相比于数组,底层封装了许多便利的操作,但数组并非无用武之地,以下三种情况可以尝试使用数组:
- Java ArrayList 无法存储基本类型,比如 int、long,需要封装为 Integer、Long 类,而 Autoboxing(自动装箱)、Unboxing(自动拆箱) 则有一定的性能消耗,所以如果特别关注性能,或者希望使用基本类型,就可以选用数组。
- 如果数据大小事先已知,并且对数据的操作非常简单,用不到 ArrayList 提供的大部分方法,也可以直接使用数组。
- 当要表示多维数组时,用数组往往会更加直观。比如 Object[][] array;而用容器的话则需要这样定义:ArrayList > array。
但在业务开发中,直接使用容器就足够了,毕竟损耗一丢丢性能,完全不会影响到系统整体的性能。除非是追求性能优化的极致,做一些非常底层的开发,数组会优于容器成为首选。
7、数组从下标0开始编号,从计算内存地址公式的角度来看:
从下标0开始计数
a[k]_address = base_address + k * type_size
从下标1开始计数
a[k]_address = base_address + (k-1)*type_size
对比两个公式,下标0计数相比于洗标1开始计数,CPU少执行一次减法指令,对于数组这种简单的数据结构,效率优化要尽可能做到极致,因此选择从下标0开始计数。