数据结构（C）：时间复杂度和空间复杂度

最新推荐文章于 2024-05-22 15:52:04 发布

Yuki-^_^

最新推荐文章于 2024-05-22 15:52:04 发布

阅读量959

点赞数 14

分类专栏： c语言文章标签：数据结构 c语言算法

本文链接：https://blog.csdn.net/weixin_49376454/article/details/138781753

版权

c语言专栏收录该内容

5 篇文章 0 订阅

订阅专栏

问题似乎是想了解数据结构的时间复杂度和空间复杂度。

时间复杂度：
时间复杂度是衡量算法运行时间长短的一个度量，通常用大O符号表示，它描述了随着数据规模的增长，算法运行时间的增长程度。常见的时间复杂度有：O(1), O(log n), O(n), O(n log n), O(n^2), O(n^3), O(2^n), O(n!), 等等。

空间复杂度：
空间复杂度是衡量算法内存使用的一个度量，通常用大O符号表示，它描述了随着数据规模的增长，算法所需的额外内存空间增长程度。常见的空间复杂度有：O(1), O(n), O(n^2), O(n^3), 等等。

举例：

假设有一个算法用于在数组中查找一个元素，以下是两种不同的实现方式：

线性搜索（Brute Force）：

cint linear_search(int arr[], int n, int x) {
for (int i = 0; i < n; i++)
if (arr[i] == x)
return i;
return -1;
}

时间复杂度：O(n)
空间复杂度：O(1)

二分查找：

cint binary_search(int arr[], int low, int high, int x) {
if (low <= high) {
int mid = low + (high - low) / 2;

// 如果中间的元素正好是要查找的元素，则返回
if (arr[mid] == x)
return mid;

// 如果中间元素的值大于要查找的元素，则在左边部分继续查找
if (arr[mid] > x)
return binary_search(arr, low, mid - 1, x);

// 如果中间元素的值小于要查找的元素，则在右边部分继续查找
return binary_search(arr, mid + 1, high, x);
}

// 如果没找到，则返回-1
return -1;
}

时间复杂度：O(log n)
空间复杂度：O(1)

在上述例子中，线性搜索的时间复杂度是O(n)，它会遍历整个数组。而二分查找的时间复杂度是O(log n)，它每次将搜索范围减半，因此对于大数据集来说，二分查找会更快。二者的空间复杂度都是O(1)，因为它们不依赖于数据规模n的增长。

算法效率

如何衡量一个算法的好坏

如何衡量一个算法的好坏呢？比如对于以下斐波那契数列

long long Fib(int N)
{
if(N < 3)
return 1;
return Fib(N-1) + Fib(N-2);
}

斐波那契数列的递归实现方式非常简洁，但是他的复杂度较高

而什么是复杂度呢?

算法的复杂度

算法在编写成可执行程序后，运行时需要耗费时间资源和空间(内存)资源。因此衡量一个算法的好坏，一般是从时间和空间两个维度来衡量的，即时间复杂度和空间复杂度。时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个算法运行所需要的额外空间。比如我们实现循环时，循环内部又嵌套了许多循环

for（int i=0；i<N；i++）
{
    for（int j=0；j<N;j++)
    {
        for（int j=0；j<N;j++)
        {
            ....
        }
    }
}

这样的代码时间复杂度就很高

同样的,空间复杂度就是我们创建了很大变量,在创建的过程中他会占用内存的空间,你创建的越多,他的空间消耗的就越多

时间复杂度

时间复杂度的概念

时间复杂度的定义：算法的时间复杂度是一个函数，描述了该算法的运行时间。 实际上我们并不能算出算法运行的时间,除非用机器运行一遍,才能看到运行的时间(但是每台机器配置可能会有差异,所以运行的时间也会有所不同)

因为一个算法所花费的时间和语句的执行次数成正比,所以我们可以根据算法执行语句的次数去推断时间复杂度

即：找到某条基本语句与问题规模N之间的数学表达式，就是算出了该算法的时间复杂度

// 请计算一下Func1中++count语句总共执行了多少次？
void Func1(int N)
{
    int count = 0;
    for (int i = 0; i < N ; ++ i)
    {
        for (int j = 0; j < N ; ++ j)
        {
        ++count;
        }
    }
    for (int k = 0; k < 2 * N ; ++ k)
    {
        ++count;
    }
    int M = 10;
    while (M--)
    {
        ++count;
    }
    printf("%d\n", count);
}

Func1 执行的基本操作次数： N = 10 F(N) = 130 N = 100 F(N) = 10210 N = 1000 F(N) = 1002010 其中F(N)表达式为F(N)=N^2+2*N+10

N^2的来源

for (int i = 0; i < N ; ++ i)
    {
        for (int j = 0; j < N ; ++ j)
        {
        ++count;
        }
    }

2*N的来源

for (int k = 0; k < 2 * N ; ++ k)
    {
        ++count;
    }

10的来源

int M = 10;
    while (M--)
    {
        ++count;
    }

最后这几个相加就得出了F(N)=N^2+2N+10 实际中我们计算时间复杂度时，我们其实并不一定要计算精确的执行次数，而只需要大概执行次数（当N趋于无穷时，N^2相对于2N+10起主导地位，也就是说 N^2远大于2N+10）举个例子,你有10000万元,但是某一天你有100元不见了,你会在意这100吗,这里的100元就是2N+10,我们可以将其忽略,只留下10000万元N^2

大O的渐进表示法

大O符号（Big O notation）：是用于描述函数渐进行为的数学符号。推导大O阶方法： 1、用常数1取代运行时间中的所有加法常数。(常数表示已经确定的数,他不会趋于无穷,这样的表示就写成1) 例子:

int count = 0；
int M = 10;
while (M--)
{
    count--；
}

F（N）=10，用大O表示就是O（1） 2、在修改后的运行次数函数中，只保留最高阶项。(最高项在函数中影响最大,所以保留最高项) 之前的例子

void Func1(int N)
{
    int count = 0;
    for (int i = 0; i < N ; ++ i)
    {
        for (int j = 0; j < N ; ++ j)
        {
        ++count;
        }
    }
    for (int k = 0; k < 2 * N ; ++ k)
    {
        ++count;
    }
    int M = 10;
    while (M--)
    {
        ++count;
    }
    printf("%d\n", count);
}

3、如果最高阶项存在且不是1，则去除与这个项目相乘的常数（这里可以理解当N趋于无穷大时，你给他乘非0的数，他仍然是无穷大，所以相乘的常数就忽略）

通过上面我们会发现大O的渐进表示法去掉了那些对结果影响不大的项，简洁明了的表示出了执行次数。

另外有些算法的时间复杂度存在最好、平均和最坏情况：最坏情况：任意输入规模的最大运行次数(上界) 平均情况：任意输入规模的期望运行次数最好情况：任意输入规模的最小运行次数(下界)

例如：在一个长度为N数组中搜索一个数据x 最好情况：1次找到最坏情况：N次找到平均情况：N/2次找到

在实际中一般情况关注的是算法的最坏运行情况，所以数组中搜索数据时间复杂度为O(N)

常见时间复杂度计算举例

例子1:

void Func2(int N)
{
    int count = 0;
    for (int k = 0; k < 2 * N ; ++ k)
    {
        ++count;
    }
    int M = 10;
    while (M--)
    {
        ++count;
    }
        printf("%d\n", count);
}

这里2*N起主导地位，所以为O（N）

例子2:

void Func3(int N, int M)
{
    int count = 0;
    for (int k = 0; k < M; ++k)
    {
        ++count;
    }
    for (int k = 0; k < N; ++k)
    {
        ++count;
    }
    printf("%d\n", count);
}

不确定M和N的关系我们可以写成O（max（M，N））

例子3:

void Func4(int N)
{
    int count = 0;
    for (int k = 0; k < 100; ++k)
    {
        ++count;
    }
    printf("%d\n", count);
}

因为这里的循环是确定跑100次的，所以为O（1）（O（1）中的1表示对常数次，即使循环1000亿次，因为循环的次数是确定的，也仍然是O(1)）

例子4:

const char * strchr ( const char * str, int character );

strchr的实现方式如下

while(*str)
{
    if（*str ==character）
    return str；
    ++str；
}

在这里插入图片描述

为了保守，我们会取最坏的情况来估计，所以时间复杂度是O（N）例子5:

void BubbleSort(int* a, int n)
{
    assert(a);
    for (size_t end = n; end > 0; --end)
    {
        int exchange = 0;
        for (size_t i = 1; i < end; ++i)
        {
            if (a[i-1] > a[i])
            {
                Swap(&a[i-1], &a[i]);
                exchange = 1;
            }
        }
        if (exchange == 0)
            break;
    }
}

这里的结果是O（N^2)

这段代码按最坏的情况去算的话就是最外层for循环循环n次，而内层的for循环是按等差数列变化的，所以最后的结果用大O表示就是O(N^2)

注意很多人可能会只看循环是否嵌套就直接去判断时间复杂度,这样是不对的

例子6:

int BinarySearch(int* a, int n, int x)
{
    assert(a);
    int begin = 0;
    int end = n-1;
    while (begin <= end)
    {
        int mid = begin + ((end-begin)>>1);
        if (a[mid] < x)
            begin = mid+1;
        else if (a[mid] > x)
            end = mid-1;
        else
            return mid;
    }
    return -1;
}

这段代码是通过二分查找,去查找数组中是否有x的值,为了计算时间复杂度我们需要用最坏的情况去计算,既当begin=end的时候可能会找到也可能找不到过程如下图

在这里插入图片描述

为了方便计算我们假设a[mid]一直大于x,这样让end一直变小,因为end每次变化都是将所查找的范围都减去一半,也就是N/2，所以不难看出这是一个等比数列，当begin=end的时候就意味着已经查找结束了所以这里的公式推导如图

在这里插入图片描述

这里的x=log的式子可以简化为x=logN，因为log以2为底的对数经常出现，所以我们常常将以2为底的对数省略，如果log以3或4等非2的数字为底，那么就不省略

例子7:

long long Fac(size_t N)
{
    if (0 == N)
        return 1;
    return Fac(N - 1) * N;
}

这道题的过程如下

在这里插入图片描述

很显然这里的时间复杂度是O（N） Fac（N-0）是第一次 Fac（N-1）是第二次 Fac（N-2）是第三次 Fac（N-(N-2)）=Fac（2）则是N-1次 Fac（N-（N-1））=Fac（1）就是第N次 Fac（N-N）=F（0）就是第N+1次由于N的影响是远大于1的，所以就将1省略掉，最终结果是O（N）

题目变形：

long long Fac(size_t N)
{
    if (0 == N)
        return 1;
    for（i = 0；i < N; i++）
    {
        .....
    }
    return Fac(N - 1) * N;
}

这道题是在原有的递归函数中加入了一个循环，也就是每次递归执行都会乘一个N，所以最终就是递归N次，每次都时间复杂度为O（N），将每次都时间复杂度相加，也就是用等差数列的求和方式，最终算出的结果就是O（N^2）例子8:

long long Fib(size_t N)
{
    if (N < 3)
        return 1;
    return Fib(N - 1) + Fib(N - 2);
}

过程如图:

在这里插入图片描述

这里我们可以看到Fib（N）一分为二变成Fib（N-1）和Fib（N-2）然后Fib（N-1）一分为二变成Fib（N-2）和Fib（N-3）.... 最终到Fib（3）时会一分为二变成Fib（1）和Fib（2），也就是1和1 之后就不继续分了当然并不是所有的数都会一分为二，比如Fib（2）和Fib（1），但是这对整体的影响并不大所有我们可以认为这个过程类似等比数列，通过等比数列的求和方式

在这里插入图片描述

计算过程如下

在这里插入图片描述

所以时间复杂度为O（2^N)

空间复杂度

空间复杂度也是一个数学表达式，是对一个算法在运行过程中临时额外占用存储空间大小的量度。空间复杂度不是程序占用了多少bytes的空间，因为这个也没太大意义，所以空间复杂度算的是变量的个数。空间复杂度计算规则基本跟实践复杂度类似，也使用大O渐进表示法。

注意：函数运行时所需要的栈空间(存储参数、局部变量、一些寄存器信息等)在编译期间已经确定好了，因此空间复杂度主要通过函数在运行时候显式申请的额外空间来确定。

例子1:

void BubbleSort(int* a, int n)
{
    assert(a);
    for (size_t end = n; end > 0; --end)
    {
        int exchange = 0;
        for (size_t i = 1; i < end; ++i)
        {
            if (a[i - 1] > a[i])
            {
                Swap(&a[i - 1], &a[i]);
                exchange = 1;
            }
        }
        if (exchange == 0)
            break;
    }
}

这段代码的空间复杂度为O（1），开辟的空间有 i end 还有exchange 但是都是常数个 我自己的理解就是开辟i和end还有exchange之后，他们的值虽然之后在改变，但是只是在原有的空间上给他们重新赋值，空间是没有额外再开辟的

这里可能会有人有疑惑，数组的空间不算进去吗我们要理解这一句话：空间复杂度是对一个算法在运行过程中临时额外占用存储空间大小的量度，注意是临时额外，这里的数组并不是额外开辟的空间，是将这一个数组传入这个函数中，然后让我们处理这个数组，因为这个数组是原本就存在的，所以就不用算进去

例子2:

long long* Fibonacci(size_t n)
{
    if (n == 0)
        return NULL;
    long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long));
    fibArray[0] = 0;
    fibArray[1] = 1;
    for (int i = 2; i <= n; ++i)
    {
        fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
    }
    return fibArray;
}

这个的空间复杂度为O（N），开辟的空间是从long long fibArray = (long long)malloc((n + 1) * sizeof(long long))得出的结果例子3:

long long Fac(size_t N)
{
    if (N == 0)
        return 1;
    return Fac(N - 1) * N;
}

这段代码是通过递归然后实现阶乘，因为递归调用要开辟空间，这里递归N次就开辟了N个空间，所以空间复杂度就是O（N）

我们再来看看这段代码

long long Fib(size_t N)
{
    if (N < 3)
    {
        return 1;
    }
    return Fib(N - 1) + Fib(N - 2);
}
int main()
{
    printf("%lld",Fib(60));
    return 0;
}

首先我们需要知道递归空间复杂度的计算是空间的累加,但是不同的是空间可以重复利用 递归调用的时候并不是两个Fib函数同时进行递归，调用顺序如下图

在这里插入图片描述

为了更好的了解顺序，我们通过下面的代码进行讲解

long long Fib(size_t N)
{
    printf("%lld", N);
    if (N < 3)
    {
        printf(" ");
        return 1;
    }
    return Fib(N - 1) + Fib(N - 2);
}
int main()
{
    Fib(6);
    return 0;
}

因为每次递归的N值是在变化的，所以我们通过打印N的值去了解递归调用的过程

在这里插入图片描述

过程如上图，打印的结果也就是调用的顺序为 65432（灰色线段） 1（棕色线段） 2（红色线段） 32（橙色线段） 1（黄色线段） 432（绿色线段） 1（蓝色线段） 2（深蓝色线段） 通过上面的规律我们可以知道，因为左边Fib（5）的N值是5，而右边Fib（4）的N值是4，左边的N值要大于右边的N值，所以会优先调用左边的函数

当按65432到顺序调用完后，此时的位置为左边的最底层Fib（2），这时无法继续往下调用了,所以就会往回走

当返回到Fib（3）时由于Fib（3）的右分支Fib（1）还没有调用，所以会调用Fib（1）,而Fib（1）下面并没有分支，所以就往回走

当到达Fib（4）时，因为Fib（4）右边有分支，所以就会再调用右边的Fib（2），调用完后又返回到Fib（5）

之后就是按照这样的顺序去调用

这是调用的顺序，在调用往回走时，原来的空间就会被系统回收，而之后调用的函数空间又会开辟新的空间，而这些空间就是之前的空间，所以就会重复利用为了验证空间的重复利用，我们通过下面的代码来测试

void func1()
{
    int a = 0;
    printf("%p\n", &a);
}
void func2()
{
    int b = 0;
    printf("%p\n", &b);
}
int main()
{
    func1();
    func2();
    return 0;
}

我们可以看到两个函数中创建的变量a和b的地址是一样的，是因为在调用func1结束后func1的空间会被系统回收，然后再调用func2的时候系统就会把之前回收的空间再分配给func2 就比如你去租房，当你退房的时候，房东又会将房间收回，然后租给别人，所以空间可以重复利用






```python
class BertPooler(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.dense = nn.Linear(config.hidden_size, config.hidden_size)
        self.activation = nn.Tanh()
 
    def forward(self, hidden_states):
        # We "pool" the model by simply taking the hidden state corresponding
        # to the first token.
        first_token_tensor = hidden_states[:, 0]
        pooled_output = self.dense(first_token_tensor)
        pooled_output = self.activation(pooled_output)
        return pooled_output
from transformers.models.bert.configuration_bert import *
import torch
config = BertConfig.from_pretrained("bert-base-uncased")
bert_pooler = BertPooler(config=config)
print("input to bert pooler size: {}".format(config.hidden_size))
batch_size = 1
seq_len = 2
hidden_size = 768
x = torch.rand(batch_size, seq_len, hidden_size)
y = bert_pooler(x)
print(y.size())
```