AliOS Things上移植 newlib 实践

一、概述

newlib是嵌入式领域非常知名的开源C库，它在嵌入式系统上被广泛使用。本篇文章我们基于AliOS Things物联网OS上newlib的实践，来分析newlib的实现机制，探讨它被广泛使用的原因，为我们做物联网OS生态提供一些参考。

Newlib具有很强的灵活性：

（1）支持nano和非nano库两种形态的库。nano库具有更小的footprint，用于资源受限平台。非nano库功能齐全、性能高，用于内存资源较多的平台。

（2）支持裸机平台和基于OS的平台。在裸机平台上无需线程安全机制，而在OS平台上由于存在多线程，因此需提供线程安全机制。

（3）简洁的桩函数。Newlib通过桩函数对接，它提供了20多个桩函数，这些桩函数并非全部都要实现，可根据需求只实现最小桩函数子集。

 

二、newlib的组成

newlib包含多个库，它实际上是一个源码集合。主要包括newlib和libgloss两大部分。其中newlib目录主要包含libc和libm，分别实现C库和数学运算库。libgloss是平台相关代码，其内除了各CPU平台目录外，还有一个特殊的目录libnosys。某些裸机平台实际并不需要系统接口，但代码中却引用了系统接口，为了方便用户能够在这种场景下成功生成镜像，libnosys实现了空的系统接口。

 

三、适配桩函数

Newlib通过桩函数对接OS。这里桩函数的含义是：newlib没有实现这些接口，但会调用它们，需在外部实现。

桩函数总共20多个，分为三类：

（1）I/O和文件系统访问：open_r、close_r、read_r、write_r、lseek_r、stat_r、fstat_r、fcntl_r、link_r、unlink_r、rename_r、isatty_r、_mkdir_r；

（2）内存申请、释放：malloc_r、realloc_r、calloc_r、free_r、_sbrk_r；

（3）获得当前系统的日期和时间：gettimeofday_r、times_r；

（4）各种类型的任务管理函数：execve_r、fork_r、getpid_r、kill_r、_wait_r；

若需要支持64位文件系统，则需要如下桩函数：lseek64_r、fstat64_r、open64_r、stat64_r

可以根据对C库的需求只实现部分接口，比如open、read、write、close，其他桩函数仅仅实现一个返回-1的空函数，当然返回之前需将errno设置为ENOTSUP，表示系统不支持该函数。甚至，如果只需要使用newlib的数学库接口或字符串操作接口，可以把所有桩函数实现为空。

 

四、nano库与非nano库

newlib C库在编译将生成两套库，libc.a和libc_nano.a，其中带后缀nano的库（后续称为Newlib-Nano）将尽量降低内存消耗。其主要特点如下：

（1）printf和scanf系列接口只支持C89标准，不支持浮点格式化。这是通过功能降级来降低内存使用。

（2）降低reent结构内存消耗。比如结构体内的缓存数组调整为指针，在使用时根据需求动态申请内存。这里采取了时间换空间策略。

注：由于C库依赖C库，因此C库也会相应地生成两套：libstdc++.a和libstdc++_nano.a。

 

五、newlib的可重入

5.1、_reent结构体

struct _reent是newlib实现中最重要的结构体，通过它我们可以一窥newlib的机制。该结构体维护了newlib运行过程中的一些内部数据。比如：
 

int _errno;    //错误号

__FILE *_stdin, *_stdout, *_stderr;  //标准输入、输出，标准错误输出

struct __tm *_localtime_buf;       //用来转换时间的缓存

newlib内部定义了一个全局的reent结构体变量impure_data，同时定义了两个指针impure_ptr和global_impure_ptr，其中global_impure_ptr类型为常量，不可修改。

宏REENT定义为impure_ptr，newlib内部通过_REENT访问impure_data。比如errno的访问：

#define errno (*__errno())

int *__errno ()

{

    return &_REENT->_errno;

}

 

5.2、_reent结构体与可重入

reent结构体保存了newlib的内部数据，因此实现newlib的可重入关键在该结构体上。如果整个系统只使用一个全局reent，则不可重入，如果每个线程访问自己的私有_reent则为可重入。Newlib提供了三种支持可重入的方式。

（1）可重入接口

newlib提供了两套接口：可重入接口与标准接口。可重入接口是原生支持可重入的，其接口的第一个参数为可重入结构体。比如：

_vprintf_r (struct _reent *ptr, const char *__restrict fmt, va_list ap);

为了支持多线程，用户可以为每个线程分配一个私有的reent结构体变量，线程在调用newlib接口时，把各自的reent变量作为参数传入。

由于用户通常用的是标准接口，因此这种方式适合代码量较小，接口调整工作量不大的系统。

 

（2）切换_impure_ptr

标准接口没有可重入结构体参数，其能否支持可重入要看具体的适配。

一种嵌入式上普遍的做法是，为每个线程分配一个私有的reent结构体变量（通常是作为任务控制块的一个域），在任务切换时修改impure_ptr的值。以下图为例，一开始task1在运行，impure_ptr指向task1的reent结构体，当任务切换到task2时，impure_ptr指向task2的reent结构体。

由于_impure_ptr只有一个，因此这种方式只适合单核系统，对于多核系统就不够用了。

 

（3）__getreent()
这种方式也是AliOS Things采用的方式。在这种方式下，_REENT宏定义如下：

#define _REENT (__getreent())

Newlib库通过调用__getreent()获得线程的_reent结构体。

相比于之前的两种方式，这种方式调整了宏_REENT的定义，因此需要配置并重编C库，同时需要实现__getreent()接口，但对多线程支持的最为彻底。

 

5.3、资源互斥锁

Newlib内部维护了一些资源，这些资源提供给用户使用，最典型的是FILE结构体。当用户调用fopen接口时，newlib将分配一个FILE结构体并返回给用户。
FILE结构体由_glue链表进行管理，示意图如下：

在多线程场景下，同时访问该链表会导致问题，比如两个调用fopen分配到同一个FILE结构体。需要实现如下宏：

# define _newlib_sfp_lock_start()
# define _newlib_sfp_lock_exit()
# define _newlib_sfp_lock_end()
# define newlib_flockfile_start(fp)
# define newlib_flockfile_exit(fp)
# define newlib_flockfile_end(fp)

上述接口可对接为OS的互斥接口。

 

六、总结

由于嵌入式硬件平台和应用场景的多样性，每一个嵌入式系统都会面对碎片化问题。然而，在实践中为了适配不同的硬件平台和满足不同的应用需求，嵌入式系统自身往往会变得碎片化，也就是说通过系统的碎片化来应对需求的碎片化。所以如何保持系统自身的一致性是每一个嵌入式开发者需要关注的问题。

Newlib库以其灵活的机制良好地支持了从简单的无OS系统到复杂的多线程SMP系统，非常值得我们借鉴。

附 本篇的姊妹篇

AliOS Things上对C++11进行了全量支持，参见如何在RTOS上全量支持C++11

 

开发者技术支持

如需更多技术支持，可加入钉钉开发者群，或者关注微信公众号

更多技术与解决方案介绍，请访问阿里云AIoT首页https://iot.aliyun.com/