Nginx高级数据结构动态数组源码剖析

本博客于学习nginx时刚好看了几眼nginx动态数组的实现源码,故记录一下

其实动态数组的实现原理核心都大差不差,推荐看看C++ STL(SGI)的vector更好

类型定义

typedef struct { //可以通过ngx_array_create函数创建空间，并初始化各个成员
    void        *elts; //数组地址
    ngx_uint_t   nelts; //已经使用数量
    size_t       size; //数组每一个元素的内存字节大小
    ngx_uint_t   nalloc; //数组长度
    ngx_pool_t  *pool; //用于分配内存的内存池
} ngx_array_t;

相关api源码剖析

ngx_array_create创建动态数组

• p:创建数组时传入所属内存池

• n:ngx_array_t的nalloc成员(数组长度的初始大小)

• size:ngx_array_t的size(数组元素的大小)

//开辟n个size空间
ngx_array_t *
ngx_array_create(ngx_pool_t *p, ngx_uint_t n, size_t size)
{
    ngx_array_t *a;
	
    //1.在内存池中分配一块ngx_array_t结构体大小的内存
    a = ngx_palloc(p, sizeof(ngx_array_t));
    if (a == NULL) {
        return NULL;
    }
	
    //初始化结构体
    if (ngx_array_init(a, p, n, size) != NGX_OK) {
        return NULL;
    }

    return a;
}

ngx_array_init初始化动态数组

• 由ngx_array_create调用传入数组指针,内存池指针,初始数组大小,以及每个元素的大小

static ngx_inline ngx_int_t
ngx_array_init(ngx_array_t *array, ngx_pool_t *pool, ngx_uint_t n, size_t size)
{
    //初始化相关参数
    array->nelts = 0;
    array->size = size;
    array->nalloc = n;
    array->pool = pool;

    //为数组分配内存,大小为 数组长度*数组元素大小
    array->elts = ngx_palloc(pool, n * size);
    if (array->elts == NULL) {
        return NGX_ERROR;
    }

    return NGX_OK;
}

ngx_array_destroy销毁动态数组

nginx内存池源码剖析

这个函数源码实现涉及到了内存池的芝士,细节不懂的先去看看nginx的内存池的源码

由于nginx内存池本身的设计问题, 对于小块内存不具备释放操作,但是ngx_array_destroy函数通过变通,可以实现释放操作(前提是ngx_array_t所属的内存池只被这个ngx_array_t使用,否则不一定能满足释放条件)

由于在ngx_array_t在创建时(ngx_array_create和ngx_array_init),是先从内存池中分配ngx_array_t结构体*,然后分配动态数组的内存*,所以释放时将顺序反过来,先尝试释放动态数组的内存,在释放ngx_array_t结构体的内存

void
ngx_array_destroy(ngx_array_t *a)
{
    ngx_pool_t  *p;

    p = a->pool;

    //如果动态数组刚好是内存池分配的最后一块内存,则通过移动last指针释放
    if ((u_char *) a->elts + a->size * a->nalloc == p->d.last) {
        p->d.last -= a->size * a->nalloc;
    }

    //如果ngx_array_t结构体刚好是内存池分配的最后一块内存,则通过移动last指针释放
    if ((u_char *) a + sizeof(ngx_array_t) == p->d.last) {
        p->d.last = (u_char *) a;
    }
}

ngx_array_push添加一个元素

ngx_array_push函数分配内存后,返回一个元素的地址,用户通过这个地址在赋值

//检查array数组的elts元素释放已经用完，如果已经用完，则再重新开辟array空间来存储
//ngx_array_push从数组中获取一个数组成员,ngx_array_push_n为一次性获取n个
void *
ngx_array_push(ngx_array_t *a)
{
    void        *elt, *new;
    size_t       size;
    ngx_pool_t  *p;

    if (a->nelts == a->nalloc) {//如果数组已经全部使用了,分配内存
        size = a->size * a->nalloc;//数组占用的内存的字节大小

        p = a->pool;

        if ((u_char *) a->elts + size == p->d.last
            && p->d.last + a->size <= p->d.end)
        {
            /*
如果当前内存池中剩余的空间大于或者等于本次需要新增的空间，那么本次扩容将只扩充新增的空间。例如，对于ngx_array_push方法来说，
就是扩充1个元素，而对于ngx_array_push_n来说，就是扩充n个元素。
 */

            p->d.last += a->size;
            a->nalloc++;

        } else {
/* allocate a new array 
如果当前内存池中剩余的空间小于本次需要新增的空间，那么对ngx_array_push方法来说，会将原先动态数组的容量扩容一倍，而对于
ngx_array_push_n来说，情况更复杂一些，如果参数n小于原先动态数组的容量，将会扩容一倍；如果参数n大于原先动态数组的容量，
这时会分配2×n大小的空间，扩容会超过一倍。
*/

            new = ngx_palloc(p, 2 * size);
            if (new == NULL) {
                return NULL;
            }

            ngx_memcpy(new, a->elts, size);
            a->elts = new;
            a->nalloc *= 2;
        }
    }

    //通过偏移量定位到分配元素的地址,返回地址
    elt = (u_char *) a->elts + a->size * a->nelts;
    a->nelts++;//增加已使用数量

    return elt;
}

ngx_array_push_n添加N个元素

//ngx_array_push从数组中获取一个数组成员,ngx_array_push_n为一次性获取n个
void *
ngx_array_push_n(ngx_array_t *a, ngx_uint_t n)
{
    void        *elt, *new;
    size_t       size;
    ngx_uint_t   nalloc;
    ngx_pool_t  *p;

    size = n * a->size;

    if (a->nelts + n > a->nalloc) {

        /* the array is full */

        p = a->pool;

        if ((u_char *) a->elts + a->size * a->nalloc == p->d.last
            && p->d.last + size <= p->d.end)
        {
            /*
             * the array allocation is the last in the pool
             * and there is space for new allocation
如果当前内存池中剩余的空间大于或者等于本次需要新增的空间，那么本次扩容将只扩充新增的空间。例如，对于ngx_array_push方法来说，
就是扩充1个元素，而对于ngx_array_push_n来说，就是扩充n个元素。
 */
             
    
            p->d.last += size;
            a->nalloc += n;

        } else {
            /* allocate a new array 
            如果当前内存池中剩余的空间小于本次需要新增的空间，那么对ngx_array_push方法来说，会将原先动态数组的容量扩容一倍，而对于
            ngx_array_push_n来说，情况更复杂一些，如果参数n小于原先动态数组的容量，将会扩容一倍；如果参数n大于原先动态数组的容量，
            这时会分配2×n大小的空间，扩容会超过一倍。
            */
            nalloc = 2 * ((n >= a->nalloc) ? n : a->nalloc);

            new = ngx_palloc(p, nalloc * a->size);
            if (new == NULL) {
                return NULL;
            }

            ngx_memcpy(new, a->elts, a->nelts * a->size);
            a->elts = new;
            a->nalloc = nalloc;
        }
    }

    elt = (u_char *) a->elts + a->size * a->nelts;
    a->nelts += n; 

    return elt;
}