2024年网络安全最新C++ Static变量跨平台、多线程安全性分析

构造阶段:对于局部静态变量,多线程调用时,首先构造静态变量的线程先加锁,其他线程并不是按照已经初始化了继续执行,而是等待前者执行完的锁。对于全局静态变量,按照声明顺序在主线程构造,早于子线程启动。

析构阶段:全局和局部静态变量的析构函数在所有线程结束后才开始调用,保证析构时线程安全。

GCC从 GCC 4.3开始支持 , Visual Studio从Visual Studio 2015开始支持。 需要明确的是,这里的线程安全只是构造函数、析构函数阶段,如果在这两个阶段之间,在多个线程访问静态变量的含有有写操作的成员函数,或某种异步操作的函数,仍然是不安全的。如果调用只读内部数据的函数,则不会产生竞争。

对应的编译选项为负向开关:fno-threadsafe-statics, 在c++11和以后版本默认是打开这个特性的,仍然可以关闭。

-fno-threadsafe-statics

Do not emit the extra code to use the routines specified in the C++ ABI for thread-safe initialization of local statics. You can use this option to reduce code size slightly in code that doesn’t need to be thread-safe.

  • CLANG

本机apple 的clang编译器版本为12.0.5,由于Apple未明确支持多线程析构构造版本,只写了一个Yes, 所以还不清楚什么版本支持。后续会看到实际看到的效果,属于部分支持。

Apple clang version 12.0.5 (clang-1205.0.22.11)

Target: x86_64-apple-darwin20.3.0

Thread model: posix

  构造检测程序

编写测试程序的最终版本如下,此版本是经过了反复调整,力求增大复现问题的概率。

#include

#include

#include<unistd.h>

#define TAG “MY_TEST”

#define MY_DEBUG printf // add your platform timestamp threadid

class Machine

{

public:

Machine(int year_) : year(year_) {

MY_DEBUG(“before construct Machine:%p, thread:%d, year:%d”, this, year_, year);

MY_DEBUG(“after construct Machine:%p, thread:%d, year:%d”, this, year_, year);

}

~Machine() {

MY_DEBUG(“before destruct, year:%d”, year);

year = -1;

MY_DEBUG(“after destruct, set -1”); // -1 as invalid static data.

}

int GetData() const {

return year;

}

int year;

};

static const Machine golbalMachine(100); // 100 as global static valid data

const Machine &GetMachine(int index)

{

const static Machine machine(index);

MY_DEBUG(“return object for thread: %d. machine:%p, year:%d, globalMachine:%p, globalYear:%d”, index, &machine, machine.GetData(), &golbalMachine, golbalMachine.GetData());

return machine;

}

void CheckStaticVariable() {

std::thread t1(GetMachine, 1);

std::thread t2(GetMachine, 2);

std::thread t3(GetMachine, 3);

MY_DEBUG(“t1 detach”);

t1.detach();

MY_DEBUG(“t2 detach”);

t2.detach();

MY_DEBUG(“t3 detach”);

t3.detach();

// MY_DEBUG(“t1 join”);

// t1.join();

// MY_DEBUG(“t2 join”);

// t2.join();

// MY_DEBUG(“t3 join”);

// t3.join();

}

int main() {

MY_DEBUG(“start main\n”);

CheckStaticVariable();

exit(0); // in order to auto complete ios app main thread.

return 0;

}

linux 平台实测

在Ubuntu机器上用GCC和CLANG两种编译器运行测试。

Description: Ubuntu 20.04.2 LTS

Release: 20.04

g++ (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0

clang version 10.0.1

Target: x86_64-unknown-linux-gnu

Thread model: posix

  实测
  • GCC

使用GCC编译器,编译运行上述程序, 在shell中持续循环运行多次,静态变量析构都发生在线程执行完成之后。得到如下结果。GetMachine函数得到的全局、局部静态变量数值都是大于0的有效值,并非-1.

使用fno-threadsafe-statics制造不安全场景, 大规模循环执行后,复现了子线程读取到错误数据的case,此局部静态变量已经析构。由于实验的是简单数据类型, 并没有crash。如果是访问析构后的复杂对象,则可能crash。 而且从多线程发生重复竞争构造同一个静态对象,重复析构同一个静态对象。

同时发现,在大量循环后,全局静态变量始终在子线程访问结束后才析构,与gcc 编译器的说明是对应的,也就是说这个特性一直打开,不受fno-threadsafe-statics影响,此选项只影响局部静态变量。

  • CLANG

使用 clang编译器,编译运行上述程序, 在shell中持续循环运行多次,静态变量析构都发生在线程执行完成之后。多线程安全。

使用fno-threadsafe-statics制造不安全场景, 大规模循环执行后,可复现了子线程读取到错误数据的case,此局部静态变量已经析构。

  汇编分析

为了进一步查看区别和原因,使用GCC编译器编出汇编代码继续分析,使用fno-threadsafe-statics选项得到不安全的汇编代码,对应下图左侧,右侧为静态变量多线程安全代码。将符号demangle后分析差异。

g++ -std=c++11 -pthread -S static_thread.cpp -o static_thread_gcc_x64.S

g++ -std=c++11 -pthread -fno-threadsafe-statics -S static_thread.cpp -o static_thread_gcc_x64_unsafe.S

threadstatic# c++filt _ZGVZ10GetMachineiE7machine

guard variable for GetMachine(int)::machine

threadstatic# c++filt _ZZ10GetMachineiE7machine

GetMachine(int)::machine

threadstatic# c++filt _ZN7MachineC1Ei

Machine::Machine(int)

/threadstatic# c++filt _ZN7MachineD1Ev

Machine::~Machine()

_ZZ10GetMachineiE7machine为 GetMachine(int)::machine 函数调用, _ZN7MachineC1Ei 为Machine类的构造函数。线程安全版本在调用GetMachine时先通过__cxa_guard_acquire获取了guard锁,call _ZN7MachineC1Ei 调用Machine类构造局部静态对象之后,再用__ __cxa_guard_abort 和 __cxa_guard_release 释放锁。最后把析构函数_ZN7MachineD1Ev__cxa_atexit 注册到程序退出函数表中。

从gcc说明文档也可以看到这个信息:

// The actual code emitted by GCC to call a local static variable’s constructor looks something like this:

static guard;

if (!guard.first_byte)

{

if (__cxa_guard_acquire (&guard))

{

bool flag = false;

try

{

// Do initialization.

__cxa_guard_release (&guard);

flag = true;

// Register variable for destruction at end of program.

}

catch

{

if (!flag)

{

__cxa_guard_abort (&guard);

}

}

}

}

在实测部分,大量循环后,全局静态变量始终在子线程访问结束后才析构,说这个特性一直打开,不受fno-threadsafe-statics影响,所以汇编代码无法对比出差异,受时间限制暂未去找实现的原理。

Apple 平台实测

  Apple IOS

Clang 12.0.5

保持xcode工程的 Statics are Thread-Safe 选项打开。设定optimization level为-O0,无优化。

手动在iphone XS上运行测试代码,出现下图问题,子线程访问到-1数据时,主线程在调用_exit函数退出,触发_cxa_atexit中注册过的静态变量析构函数。由于实验的是简单数据类型, 并没有crash。如果是访问析构后的复杂对象,则可能crash,正好对应线上crash的场景。

// 线上crash堆栈

Thread 0:

1 libsystem_c.dylib 0x0000000197db7064 __cxa_finalize_ranges :416 (in libsystem_c.dylib)

2 libsystem_c.dylib 0x0000000197db73a0 _exit :28 (in libsystem_c.dylib)

3 UIKitCore 0x000000019c2301a4 -[UIApplication _terminateWithStatus:] :508 (in UIKitCore)

复制

而linux平台只有关闭线程安全选项fno-threadsafe-statics后才会出现。正常编译下静态变量构造和析构都是安全的。说明此clang+ios并未实现完整的Dynamic Initialization and Destruction with Concurrency.

IOS MNN crash的根源在于Apple clang编译器和运行时库未实现静态变量析构的多线程安全。

  Apple Mac

Apple clang version 12.0.5 (clang-1205.0.22.11)

Target: x86_64-apple-darwin20.3.0

Thread model: posix

在mac下使用Apple clang编译,静态变量线程安全选项默认打开情况下,仍然可以复现此问题, 和ios的情况一致。

clang++ -std=c++11 -pthread static_thread.cpp -o static_thread_clang_mac

android平台实测

  NDK Clang

Android (7019983 based on r365631c3) clang version 9.0.9 (https://android.googlesource.com/toolchain/llvm-project a2a1e703c0edb03ba29944e529ccbf457742737b) (based on LLVM 9.0.9svn)

Target: x86_64-apple-darwin20.3.0

Thread model: posix

android NDK r21e的clang版本为9.09, 大于了c++11此特性标注的clang 2.9, 编译测试代码,执行可以看到构造过程仍然保证只构造一次, thread1 线程号15623, GetMachine取到的局部和全局静态变量都是-1,因为局部和全局静态变量析构函数已经早于此线程调用GetMachine执行了。此版本析构过程线程不安全。说明此clang+ndk库并未实现完整的 Dynamic Initialization and Destruction with Concurrency.

我手头的ndk版本不高,哪位同学如果有更高版本,方便的话可编译运行一下此测试程序。

  aarch64 GCC

Using built-in specs.

COLLECT_GCC=aarch64-linux-gnu-g++

COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/aarch64-linux-gnu/9/lto-wrapper

Target: aarch64-linux-gnu

Thread model: posix

gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04)

由于android NDK r18以后已经不再支持GCC编译器,暂且使用GCC arm交叉编译工具 aarch64-linux-gnu-g++ 尝试运行测试程序。在执行后有不兼容的异常, 反复执行多次,构造函数只执行一次,GetMachine日志显示都能得到正确的结果year:1, globalYear:100, 并未出现析构后的-1数值。虽然不完全肯定,初步可以说明 GCC在安卓上静态变量多线程安全**。**

解决办法

虽然c++11标准有约束,但对析构时的多线程和静态变量的关系不是所有编译器和库完整实现,GCC编译器中做了完整实现,实验过的Apple/Android clang编译器版本只支持构造、不支持析构的多线程安全,微软编译器则在VS2015后支持。

追溯解决:** 如要继续追溯析构时的行为差异,不仅是编译器,需要从apple clang编译器代码与std库的某种共同作用着手,这个涉及到一个全新的领域了,暂无法去继续调查,后续暂且给clang或apple提一个issue。

规避解决1: 对于IOS 中遇到的析构时多线程异常问题,虽然本来静态变量并不多,而且语法规范是线程安全的,由于不同厂商编译器和库实现程度不同,MNN又需要做到IOS android linux windows跨平台,我们的解决办法是避免使用static变量或对象,牺牲一些重复创建对象的开销,也要想方设法改成非静态变量****。 也可以自行加锁,访问、析构前都加锁来避免。

还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!

王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。

对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!

【完整版领取方式在文末!!】

93道网络安全面试题

内容实在太多,不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料,给那些想学习 网络安全的小伙伴们一点帮助!

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

1️⃣零基础入门
① 学习路线

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

image

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供:

image-20231025112050764

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 23
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值