0x0: keyword
std::vector / gcc12 / outside array bounds / -O3
0x1 问题背景
std::vector 对C++开发者来说,非常熟悉,使用频率非常搞。 今天发现一个正常的push操作,被编译器提示,编译错误。代码如下:
//dumyFile.cpp 代码只为演示和理解问题
enum class EErrorType : std::uint_8
{
EDeviceShutdown,
EConnectionBroken,
ETimeout,
EUnknown
};
enum class NetWorkType : std::uint_8
{
DEFAULT,
EWIFI,
EWLAN ,
ENET,
};
auto dumyFunction(NetWorkType networkType)
{
std::vector<EErrorType> errors{getError(ENET)}; //Line 72
if (NetWorkType::EWIFI != networkType and
NetWorkType::EWLAN != alarmType and
NetWorkType::DEFAULT != alarmType)
{
errors.push_back(getError(networkType)); //Line 76
}
return errors;
}
以上代码片段,导致如下编译错误: |
05:38:01 from /tmp/workspace/src/dumyFile.cpp:1: 05:38:01 In member function ‘void std::__new_allocator<_Tp>::construct(_Up*, _Args&& ...) [with _Up = EErrorType ; _Args = {EErrorType }; _Tp = EErrorType ]’, 05:38:01 inlined from ‘static void std::allocator_traits<std::allocator<_Tp1> >::construct(allocator_type&, _Up*, _Args&& ...) [with _Up = EErrorType ; _Args = {EErrorType }; _Tp = EErrorType ]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/alloc_traits.h:516:17, 05:38:01 inlined from ‘std::vector<_Tp, _Alloc>::reference std::vector<_Tp, _Alloc>::emplace_back(_Args&& ...) [with _Args = {EErrorType }; _Tp = EErrorType ; _Alloc = std::allocator<EErrorType >]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/vector.tcc:117:30, 05:38:01 inlined from ‘void std::vector<_Tp, _Alloc>::push_back(value_type&&) [with _Tp = EErrorType ; _Alloc = std::allocator<EErrorType >]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/stl_vector.h:1294:21, 05:38:01 inlined from ‘std::vector<EErrorType > getError(NetWorkType)’ at /tmp/workspace/src/dumyFile.cpp:76:25: 05:38:01 /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/new_allocator.h:175:11: error: array subscript 1 is outside array bounds of ‘EErrorType [1]’ [-Werror=array-bounds] 05:38:01 175 | { ::new((void *)__p) _Up(std::forward<_Args>(__args)...); } 05:38:01 | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 05:38:01 In member function ‘_Tp* std::__new_allocator<_Tp>::allocate(size_type, const void*) [with _Tp = EErrorType ]’, 05:38:01 inlined from ‘static _Tp* std::allocator_traits<std::allocator<_Tp1> >::allocate(allocator_type&, size_type) [with _Tp = EErrorType ]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/alloc_traits.h:464:28, 05:38:01 inlined from ‘std::_Vector_base<_Tp, _Alloc>::pointer std::_Vector_base<_Tp, _Alloc>::_M_allocate(std::size_t) [with _Tp = EErrorType ; _Alloc = std::allocator<EErrorType >]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/stl_vector.h:378:33, 05:38:01 inlined from ‘void std::vector<_Tp, _Alloc>::_M_range_initialize(_ForwardIterator, _ForwardIterator, std::forward_iterator_tag) [with _ForwardIterator = const EErrorType *; _Tp = EErrorType ; _Alloc = std::allocator<EErrorType >]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/stl_vector.h:1687:25, 05:38:01 inlined from ‘std::vector<_Tp, _Alloc>::vector(std::initializer_list<_Tp>, const allocator_type&) [with _Tp = EErrorType ; _Alloc = std::allocator<EErrorType >]’ at /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/stl_vector.h:677:21, 05:38:01 inlined from ‘std::vector<EErrorType > getError(NetWorkType)’ at /tmp/workspace/src/dumyFile.cpp:72:79: 05:38:01 /usr/local/gcc-12.2.0/include/c++/12.2.0/bits/new_allocator.h:137:55: note: at offset 1 into object of size 1 allocated by ‘operator new’ 05:38:01 137 | return static_cast<_Tp*>(_GLIBCXX_OPERATOR_NEW(__n * sizeof(_Tp))); 05:38:01 | ^ 05:38:01 cc1plus: all warnings being treated as errors |
0x2 问题分析
0x21 问问metaso
使用花括号初始化方法为枚举类型的变量(如 std::vector<MyEnum> vec{MyEnum::Value1, MyEnum::Value2};)是不合适的。原因如下:
类型安全问题:当枚举类被用作变量的元素类型时,直接使用花括号初始化可能会导致类型不匹配的问题。例如,如果枚举类包含自定义构造函数或析构函数,直接使用花括号初始化可能无法正确调用这些成员函数。
编译器行为:在某些情况下,编译器可能会对枚举进行隐式转换,这可能导致意外的行为。例如,在C++17之前,直接使用花括号初始化一个固定底层类型的枚举总是等同于功能风格的转换。这种行为在现代C++中已经不再推荐使用。
推荐做法:为了确保类型安全和避免潜在的编译器行为问题,建议使用标准库提供的 std:: initializer_list 来初始化变量。这种方法可以确保所有必要的构造函数和析构函数都被正确调用,并且不会引起隐式类型转换的问题。
虽然使用花括号初始化方法可以简化代码,但在枚举类型的变量初始化中,使用 std:: initializer_list 是更安全、更符合现代C++标准的做法。
0x22 问问copilot
NetWorkType 是一个枚举类,属于类型安全枚举。这意味着枚举值有一个作用域(枚举类本身),不能隐式转换为 int。
您遇到的错误很可能不是 NetWorkType 定义本身造成的,而是它的使用方式造成的。如果你试图将 NetWorkType 的值用作数组或变量的索引,如果 NetWorkType 的值大于数组或变量的大小,就会出现越界错误。
例如,如果您有一个 std::vector<NetWorkType> errors(10); 并尝试执行 errors[NetWorkType::ENET] = ...;,就会出现越界错误,因为 NetWorkType::ENET 大于 10。
要解决这个问题,需要确保数组或变量的大小足以容纳 NetWorkType 的所有可能值。为此,可以使用 NetWorkType 枚举的大小初始化变量:
std::vector<NetWorkType> errors(static_cast<int>(NetWorkType::ENET) + 1);
这将创建一个足以容纳所有 NetWorkType 值的变量。如果情况并非如此,则需要相应调整变量的大小
Note: 以上通过机器翻译得到
0x23 问问专家同事
考虑到类似的用法,很多,为什么偏偏对枚举类型不行,但是很明显,问题就在72行,而76行是诱因,因为vector被视size 为1,所以76行就报了错误:
error: array subscript 1 is outside array bounds of ‘EErrorType [1]’ [-Werror=array-bounds]
为社么被视为1了? 这个问题非常奇怪。
enum class 是强类型,所以隐式转换风险的说法是不对的。所以metaso 的答复存在瑕疵
error的声明方式 和 copilot的解释完全不一致,所以 copilot的解答 偏差更大。
考虑到这个错误在前段时间并没有出现(代码早前已经存在于代码仓库),发现编译器版本做过更新,前段时间用的是gcc11, 最近用了gcc12, 其他看起来没有变化。但是相同的代码出现错误。继续分析和实验编译选项,最终确定 -O3导致了这个结果 (断定)。编译选项包括:-O3
-fPIC -Werror -Wall -fsanitize=vla-bound -fsanitize=null -fsanitize=return -fsanitize=signed-integer-overflow -fno-omit-frame-pointer -pthread
0x3 问题解决
为了确定是这问题,并具体到确定的编译选项上,我把同事的结果从新跑了一下对每个编译参数做了操作和实验。
0x31 同事的代码重现问题
enum class Proxy : std::uint8_t
{
A,
B,
C,
D,
};
std::vector<Proxy> getProxy()
{
std::vector<Proxy> nums{Proxy::C};
nums.push_back(Proxy::D);
return nums;
}
int main()
{
bool l_bTest_01 = true;
if (l_bTest_01)
{
std::cout << sizeof(getProxy()) << std::endl;
}
return 0
}
Compile:
$ g++ prog.cc -Wall -Wextra -I/opt/wandbox/boost-1.81.0-gcc-12.3.0/include -std=c++17 -O3 -fsanitize=null
Result: |
In member function 'void std::__new_allocator<_Tp>::construct(_Up*, _Args&& ...) [with _Up = Proxy; _Args = {Proxy}; _Tp = Proxy]', inlined from 'static void std::allocator_traits<std::allocator<_CharT> >::construct(allocator_type&, _Up*, _Args&& ...) [with _Up = Proxy; _Args = {Proxy}; _Tp = Proxy]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/alloc_traits.h:516:17, inlined from 'std::vector<_Tp, _Alloc>::reference std::vector<_Tp, _Alloc>::emplace_back(_Args&& ...) [with _Args = {Proxy}; _Tp = Proxy; _Alloc = std::allocator<Proxy>]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/vector.tcc:117:30, inlined from 'void std::vector<_Tp, _Alloc>::push_back(value_type&&) [with _Tp = Proxy; _Alloc = std::allocator<Proxy>]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/stl_vector.h:1294:21, inlined from 'std::vector<Proxy> getProxy()' at prog.cc:89:19: /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/new_allocator.h:175:11: warning: array subscript 1 is outside array bounds of 'Proxy [1]' [-Warray-bounds] 175 | { ::new((void *)__p) _Up(std::forward<_Args>(__args)...); } | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ In member function '_Tp* std::__new_allocator<_Tp>::allocate(size_type, const void*) [with _Tp = Proxy]', inlined from 'static _Tp* std::allocator_traits<std::allocator<_CharT> >::allocate(allocator_type&, size_type) [with _Tp = Proxy]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/alloc_traits.h:464:28, inlined from 'std::_Vector_base<_Tp, _Alloc>::pointer std::_Vector_base<_Tp, _Alloc>::_M_allocate(std::size_t) [with _Tp = Proxy; _Alloc = std::allocator<Proxy>]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/stl_vector.h:378:33, inlined from 'void std::vector<_Tp, _Alloc>::_M_range_initialize(_ForwardIterator, _ForwardIterator, std::forward_iterator_tag) [with _ForwardIterator = const Proxy*; _Tp = Proxy; _Alloc = std::allocator<Proxy>]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/stl_vector.h:1687:25, inlined from 'std::vector<_Tp, _Alloc>::vector(std::initializer_list<_Tp>, const allocator_type&) [with _Tp = Proxy; _Alloc = std::allocator<Proxy>]' at /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/stl_vector.h:677:21, inlined from 'std::vector<Proxy> getProxy()' at prog.cc:88:37: /opt/wandbox/gcc-12.3.0/include/c++/12.3.0/bits/new_allocator.h:137:55: note: at offset 1 into object of size 1 allocated by 'operator new' 137 | return static_cast<_Tp*>(_GLIBCXX_OPERATOR_NEW(__n * sizeof(_Tp))); | ^ 24 |
我们可以看到,问题重现后,变成了warning,并没有错误,者其实是编译选项问题:
进行如下编译,warning告警就会变成Error:
$ g++ prog.cc -Wall -Wextra -I/opt/wandbox/boost-1.81.0-gcc-12.3.0/include -std=c++17 -O3 -fsanitize=null -Werror
另外,通过更高版本gcc13,和较低版本gcc11 的测试,同样的编译选项,都不会有这个错误报告。
0x4 结论
0x41 问题的Rootcause
gcc12 -O3 -fsanitize=null -Werror 这4个是造成这个问题的根本原l
0x42 解决方法
其他版本 gcc11/13没有此问题,针对vector这种变量声明gcc12 存在BUG,O3选项对枚举类型的vector变量初始化,会做深度优化。初始化的vector变量,也设定了其size,比如初始化vector 变量中是一个数据,就会优化为size为1,这就导致后面的push_back出现 outside array bounds 的错误。
解决问题,要么升级,要么降级,要么编译选项去掉(不推荐)
0x5 拓展
0x51 这会不会对最终产品代码产生影响?
我认为不会的,不是因为产品代码中没有这些编译选项,而是因为,这是一种更严格的检查,不一定是问题。我们通过多个小程序,并不会有问题。也就是说,只要不用-O3优化,就没什么问题。
0x52 重现代码的错误等级是warning,为什么?
细心的读者可能发现,重现部分的错误显示为warning,而不是Error、这个原因是-Werror编译选项导致的。这会把warning转为Error。当然,我的环境中就有这个编译选项。
0x53 Copilot 在这个问题上能帮我们多少?
知道了结果,让copilot给我们梳理一下思路,结果如下:
提问 | #selection this part code is c++, compiler with gcc12.3 with compiler operation "-O3 -fsanitize=null", cause compiler error :"In file included from 。。。" //略去错误信息 |
回答结果 | 你看到的错误信息是编译器关于 |
0x6 题外话
metaso 经常用,发现metaso总是说xxx向量,今天copilot用中文回答问题,发现也出现了向量,对比英文一看,原来是vector,晕倒我。 但是我想,metaso是否是先把中文问题转成英文,然后把英文结果再转成中文? 对于中文来说,这个不需要翻译,比如vector类型变量。