多线程操作C++ STL vector出现概率coredump问题分析------切勿对STL 容器的线程安全性有不切实际的依赖!

最新推荐文章于 2024-05-17 10:30:00 发布
最新推荐文章于 2024-05-17 10:30:00 发布
阅读量1w 收藏 26
点赞数 9
分类专栏： S1: C/C++ S1: STL s2: 软件进阶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stpeace/article/details/81227459
版权
s2: 软件进阶 同时被 3 个专栏收录
1053 篇文章 74 订阅
订阅专栏
S1: C/C++
972 篇文章 329 订阅
订阅专栏
S1: STL
73 篇文章 32 订阅
订阅专栏

       多线程操作全局变量，必须考虑同步问题，否则可能出现数据不一致， 甚至触发coredump.

       前段时间， 遇到一个多线程操作了全局的vector的问题,  程序崩了。场景是这样的：某全局配置参数保存在一个vector中，需要定时更新（更新线程）， 另外的工作线程去读取配置。 这种场景是非常普遍的。

       在该场景中，程序没有枷锁，概率coredump, 实际情况是，服务跑了一段时间后，必然coredump.   很显然， 更新线程执行clear，然后在push_back操作时， 会导致工作线程的vector迭代器失效， 内存错误。

 

       本文中， 我从实例和代码的层面来说一下， 在C++ STL中, vector并不是线程安全的， 大家使用的时候， 要多加小心。 为了简便起见， 不采用上面的原场景， 而是仅仅以push_back为例：

       来看一段程序：

#include <pthread.h>
#include <unistd.h>
#include <iostream>
#include <vector>
#define N 2
using namespace std;

vector<int> g_v;
pthread_mutex_t mutex;
 
void* fun(void *p)
{
    for(int i = 0; i < 100000; i++)
    {
    	//pthread_mutex_lock(&mutex);
        g_v.push_back(i);
		//pthread_mutex_unlock(&mutex);
    }
 
    return NULL;
}
 
int main()
{
    pthread_t threads[ N];
    pthread_mutex_init(&mutex, NULL);
 
    for(int i = 0; i <  N; i++)
    {
        pthread_create(&threads[i], NULL, fun, NULL);
    }
	
    for(int i = 0; i <  N; i++)
    {
        pthread_join(threads[i],NULL);
    }

 	cout << "ok" << endl;
	
	return 0;
}

        编译： g++ test.cpp  -lpthread -g

        运行3次：

taoge:~> ./a.out 
ok
taoge:~> ./a.out 
Segmentation fault (core dumped)
taoge:~> ./a.out 
ok

         可见， 程序概率core dump.  来调试一下：

taoge:~> gdb a.out core.9775 
GNU gdb 6.6
Copyright (C) 2006 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i586-suse-linux"...
Using host libthread_db library "/lib/libthread_db.so.1".

warning: Can't read pathname for load map: Input/output error.
Reading symbols from /lib/libonion.so...done.
Loaded symbols for /lib/libonion.so
Reading symbols from /lib/libpthread.so.0...done.
Loaded symbols for /lib/libpthread.so.0
Reading symbols from /usr/lib/libstdc++.so.6...done.
Loaded symbols for /usr/lib/libstdc++.so.6
Reading symbols from /lib/libm.so.6...done.
Loaded symbols for /lib/libm.so.6
Reading symbols from /lib/libgcc_s.so.1...done.
Loaded symbols for /lib/libgcc_s.so.1
Reading symbols from /lib/libc.so.6...done.
Loaded symbols for /lib/libc.so.6
Reading symbols from /lib/libdl.so.2...done.
Loaded symbols for /lib/libdl.so.2
Reading symbols from /lib/ld-linux.so.2...done.
Loaded symbols for /lib/ld-linux.so.2
Core was generated by `./a.out'.
Program terminated with signal 11, Segmentation fault.
#0  0x08048cc0 in __gnu_cxx::new_allocator<int>::construct (this=0x804a200, __p=0xb6cc2000, __val=@0xb7ce2464)
    at /usr/include/c++/4.1.2/ext/new_allocator.h:104
104           { ::new(__p) _Tp(__val); }
(gdb) bt
#0  0x08048cc0 in __gnu_cxx::new_allocator<int>::construct (this=0x804a200, __p=0xb6cc2000, __val=@0xb7ce2464)
    at /usr/include/c++/4.1.2/ext/new_allocator.h:104
#1  0x08049846 in std::vector<int, std::allocator<int> >::push_back (this=0x804a200, __x=@0xb7ce2464)
    at /usr/include/c++/4.1.2/bits/stl_vector.h:606
#2  0x08048bde in fun (p=0x0) at test.cpp:16
#3  0xb7f471eb in start_thread () from /lib/libpthread.so.0
#4  0xb7da97fe in clone () from /lib/libc.so.6
(gdb) f 2
#2  0x08048bde in fun (p=0x0) at test.cpp:16
16              g_v.push_back(i);
(gdb) i locals
i = 63854
(gdb) i args
p = (void *) 0x0
(gdb) f 1
#1  0x08049846 in std::vector<int, std::allocator<int> >::push_back (this=0x804a200, __x=@0xb7ce2464)
    at /usr/include/c++/4.1.2/bits/stl_vector.h:606
606                 this->_M_impl.construct(this->_M_impl._M_finish, __x);
(gdb) i locals
No locals.
(gdb) i args
this = (std::vector<int,std::allocator<int> > * const) 0x804a200
__x = (const int &) @0xb7ce2464: 63854
(gdb) p this
$1 = (std::vector<int,std::allocator<int> > * const) 0x804a200
(gdb) p *this
$2 = {<std::_Vector_base<int,std::allocator<int> >> = {
    _M_impl = {<std::allocator<int>> = {<__gnu_cxx::new_allocator<int>> = {<No data fields>}, <No data fields>}, _M_start = 0xb6c81008, 
      _M_finish = 0xb6cc2000, _M_end_of_storage = 0xb6cc1008}}, <No data fields>}
(gdb)

       重点关注frame 1， 其中有：_M_start， _M_finish， _M_end_of_storage， 熟悉vector底层动态分配的朋友， 应该能猜出这三个变量的含义， _M_start指向vector头， _M_finish指向vector尾， _M_end_of_storage指向预分配内存的尾。 来看下vector的push_back函数源码：

void
      push_back(const value_type& __x)
      {
        if (this->_M_impl._M_finish != this->_M_impl._M_end_of_storage)
        {
          _Alloc_traits::construct(this->_M_impl, this->_M_impl._M_finish, __x);
          ++this->_M_impl._M_finish;
        }
        else
#if __cplusplus >= 201103L
          _M_emplace_back_aux(__x);
#else
          _M_insert_aux(end(), __x);
#endif
      }

        可以看到， 在单线程环境下，  执行push_back的时候， _M_finish总是逐渐去追逐最后的_M_end_of_storage，，容量不够时继续扩_M_end_of_storage， 总之，_M_finish不会越过_M_end_of_storage.  但是， 在多线程环境下， 当_M_finish比_M_end_of_storage小1时，可能会出现多线程同时满足this->_M_impl._M_finish != this->_M_impl._M_end_of_storage， 然后同时执行++this->_M_impl._M_finish， 这样，_M_finish就越过了_M_end_of_storage， 如我们实验中的例子那样。越界操作导致有coredump。 当然， 具体是否越过， 是概率性的， 我们要避免这种未定义行为。

       怎么办呢？  可以考虑加锁， 把上述程序的注释取消， 也就是加了互斥锁(mutex)， 实际多次运行发现， 再也没有coredump了。

 

        还有一个问题：  上面的结论是_M_finish越过了_M_end_of_storage， 导致coredump, 那如果让_M_end_of_storage不被越过呢？ 理论上认为，不会core dump, 如下：

#include <pthread.h>
#include <unistd.h>
#include <iostream>
#include <vector>
#define N 2
using namespace std;

vector<int> g_v;
pthread_mutex_t mutex;
 
void* fun(void *p)
{
    for(int i = 0; i < 100000; i++)
    {
    	//pthread_mutex_lock(&mutex);
        g_v.push_back(i);
		//pthread_mutex_unlock(&mutex);
    }
 
    return NULL;
}
 
int main()
{
	g_v.reserve(999999);  // pay attention
	
    pthread_t threads[ N];
    pthread_mutex_init(&mutex, NULL);
 
    for(int i = 0; i <  N; i++)
    {
        pthread_create(&threads[i], NULL, fun, NULL);
    }
	
    for(int i = 0; i <  N; i++)
    {
        pthread_join(threads[i],NULL);
    }

 	cout << "ok" << endl;
	
	return 0;
}

       编译并运行多次， 未见coredump.  尽管如此， 也不能完全保证上述操作的结果符合预期的逻辑， 毕竟，多线程还在操作着非原子的push_back呢。

        

       最后，回到我遇到的那个问题，定时更新配置，可以考虑加锁。如果不用锁， 该怎么实现呢？ 可以考虑用两个vector, 轮换使用，更新的vector不去读， 当前的读的vector不更新，然后轮换当前vector.  我见过很多地方都是这么用的。

 

       类似的问题还有很多很多， 坑， 就在那里， 不多不少。 书本Effective STL第12 条如是说：切勿对STL 容器的线程安全性有不切实际的依赖!

 

       不多说。

 

 

涛歌依旧
关注
  • 9
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
[C/C++标准库]_[初级]_[std::vector的多线程读写问题]
Tobey(我是机器人)
08-07 1万+
场景: 1. 有时候需要使用vector 或 map作为多线程的共享变量, map是tree结构, 读和写方法都不是线程安全的, 即同时读写会有崩溃的现象. 2. std::vector直观来说只用push_back和[] 下标访问操作应该没问题,push_back往后边加对象, 索引值只访问已经存储的变量(预先求size).注意, 这里不会删除vector元素. 可惜，这种多线程操作还是会崩溃.
C++ - SGI 版本 STL源码
10-25
**C++ SGI版STL源码详解** STL（Standard Template Library，标准模板库）是C++编程语言中的一个重要组成部分，它提供了高效且灵活的数据结构和算法。SGI（Silicon Graphics, Inc.）公司在90年代为C++社区贡献了一...
你知道如何在C++ 中实现线程安全的数据结构吗？
最新发布
2401_82584055的博客
05-17 818
概述：多线程是计算机科学中一个强大的概念，它允许多个线程在单个程序中并发执行。每个线程都表示一个独立的执行流，共享相同的资源，包括内存空间。虽然多线程可以通过利用多个处理器内核来显著提高性能，但它带来了与数据安全一致性相关的挑战。对线程安全数据结构的需求在多线程环境中，多个线程可以同时访问和修改共享数据，确保数据完整性变得至关重要。如果没有适当的同步，共享数据结构上的并发操作可能会导致争用条件、数据损坏和其他不可预测的行为。线程安全至关重要的一种常见方案是并发数据结构（如队列）的实现。
C++中vector多线程操作
weixin_37684907的博客
11-12 833
C++中vector多线程操作
C++ | 多线程使用vector
RandyOliver's House
06-21 656
而如果加上第4句，先扩容到1个很大的范围，但是clear仅仅是将成员清除，使得size为0，因此多线程 emplace_back的时候，就能够直接emplace_back了，不会发生扩容问题。多线程需要同时对同一个vector进行写入的时候，先扩容到一个值，避免各个线程单独扩容，保证程序稳定有效进行。第一反应是，既然是Clean函数，肯定就是想清空这个数组，清空之前还要reserve一下，不是多此一举吗？代码单线程测试了一下，也是没问题的，多线程的问题出在哪里呢？问题在于程序使用的是多线程。
一个地雷式的core dump------又是空vector惹的祸
认知 行动 坚持
05-05 8301
某代码的表现一直正常， 但经历一个正常的修改后， 程序就core dump了， 经定位， 原因是： 原来代码埋了个地雷， 一直没有被调用触发， 新增的正常代码刚好触发了这个雷， 故core dump. 那具体原因是什么呢？ 且看简单的demo代码： #include #include using namespace std; int main() { vector v; v.push_
跨平台使用C++ vector的多线程问题
01-25 1461
跨平台使用C++ vector的多线程问题源起reserve问题clear问题后记 源起 最近碰到一个linux下程序崩溃的问题，涉及到vector的多线程使用的问题。由于是第二次折腾这个问题，所以把过程记录下来。 简单介绍一下背景：程序为windows和linux跨平台使用。使用一套代码，会分别编译两个平台下的不同版本。 程序涉及的结构。使用了一个全局变量的vector来保存数据，有两个线程，一个线程是周期执行的，每个周期开始时检查全局变量中是否有数据，如果有就取出来处理，然后清空。另一个线程等待外部输入
STL.rar_C++ STL_FSET-885_STL_stl源码_visual c
09-24
STL，全称为Standard Template Library（标准模板库），是C++编程语言中不可或缺的一部分，它为程序员提供了高效且灵活的数据结构和算法。STL的核心设计理念是泛型编程，即通过模板来实现数据结构和算法的通用性，...
c++API.zip_-baijiahao_C++帮助文档_Load c++_STL库_stl API
09-20
C++是一种广泛使用的编程语言，以其强大的功能和灵活性而闻名。在C++中，STL（Standard Template Library，标准模板库）是不可或缺的一部分，它提供了一组高效且可重用的数据结构和算法。本帮助文档，"c++API.zip"，...
X-CUBE-STL-H7 安全库使用手册
04-20
X-CUBE-STL-H7 安全库使用手册 本文档为 X-CUBE-STL-H7 安全库使用手册，旨在为用户提供 STM32H7 Series 微控制器的安全库使用指南。该手册涵盖了 X-CUBE-STL-H7 扩展包的使用和实现安全机制的方法。 首先，X-CUBE...
向量在同一个块中用多个线程执行
09-21
向量在同一个块中用多个线程执行。本实验是启动一个线程块，这个线程块中启动的线程个数为10个。
C++课程小作业-STL容器与迭代器的实现路径-设计类vector容器myVector
06-14
STL是高效的C++程序库，是大量类模板和函数模板的聚集，主要的组成部分包括容器、迭代器、算法、函数等。其中容器是存放对象的集合，使用类模板方式; 选代器是容器与算法的粘合剂，是所谓的泛型指针, 使用类模板方式...
[多线程并发并行]_[C/C++11]_[多线程访问修改集合vector会冲突的两个解决方案]
Tobey(我是机器人)
06-21 3092
1. 在开发`C/C++`多线程程序时,`STL`集合类是我们经常用到的类，比如`vector`. 而`C/C++`的这些集合类并没有同步版本，所以在多线程访问时，如果某个线程正在修改集合类`A`, 而其他线程正在访问`A`，那么会造成数据冲突，导致程序抛出异常。这里说的访问`A`,意思是调用`A`的任何方法。难道我们需要在用到`A`的地方对`A`进行加锁？ 麻烦不止，而且很容易造成性能下降。
C++关于vector和多线程的数据的传递和合并
scottar的博客
03-15 3916
1、 前言 关于vector 的传递的参数的方式 注意，三种方式分别有对应的const形式，不在此讨论。 三种方式对应的调用形式分别为： function1(vec)，传入值 function2(vec)，传入引用 function3(&vec),传入地址 三种方式的效果分别为： 会发生拷贝构造 不会发生拷贝构造 不会发生拷贝构造 2、实验目标 希望能够将vecto...
c++多线程 加锁（仅供自己复习使用）
a17633463606的博客
01-13 4039
解决死锁的方法 1、使用互斥量的时候使用的顺序必须相同，不同就会出现死锁现象。 2、使用std::lock（mutex ...）函数,一次性同时对多个互斥量加锁，也就不存在顺序的问题，但是这样做完之后需要一个一个的解锁，比较麻烦。 int main() { mutex mtx1,mtx2; vector<int> val; for(int i = 0;i < 10;++i) { std::lock(mtx1,mtx2); //同时加锁 val.emplate_back(i
《coredump问题原理探究》Linux x86版7.8节vector相关的iterator对象
debugeeker的专栏
07-09 2398
在前面看过了一个vectorcoredump的例子,接触了vector的iterator,可以知道vector的iterator只有一个成员_M_current指向vector某一个元素. 先看一个例子: 1 #include <vector> 2 3 void init( std::vector<int>& vec ) 4 { 5 ...
C++ coredump实例解析
执著的专栏
08-25 3176
一、背景 经过重重调试后，看到编译成功的那一刻，内心充满欢喜。当程序一运行，却经常出现coredump的情况，此时内心是崩溃的。我想程序员经常会碰到这种情况，尤其使用c++语言编写代码，由于没有自动内存管理，经常会出现coredump情况，主要原因有以下几类： 操作非法指针 内存访问越界：索引越界、使用高危函数等 格式化输出时数据类型错误 并发引起的问题：未加锁保护；使用线程不安...
Coredump案例分析
tugouxp的专栏
06-19 515
使用如下命令编译，-ggdb3表示产生更多适合GDB的调试信息，3是最高等级。
解释一下这句话：map是C++中的一个STL容器，类似于键-值对的集合。
06-09
在C++编程中，容器是一种数据结构，用于存储和操作一组数据。STL（Standard Template Library）是C++的标准库，提供了许多常用的容器，其中之一就是map容器。 map容器中的数据是以键-值（key-value）对的形式进行存储的。每个键（key）都唯一对应一个值（value），因此可以通过键来查找对应的值。与数组相比，map容器的优势在于可以动态地添加、删除和查找元素，而且不需要提前知道元素的数量。 例如，可以使用map容器来存储学生的学号和姓名，其中学号是唯一的键，姓名是对应的值。这样就可以通过学号快速查找到对应的姓名，而不必遍历整个容器。 在C++中，可以使用map模板类来定义一个具体的map容器对象。例如： ``` #include <map> #include <string> std::map<int, std::string> student_map; ``` 这个例子定义了一个名为student_map的map容器，其中键是int类型的学号，值是string类型的姓名。可以使用insert()方法向map容器中添加元素，使用find()方法查找对应的元素，使用erase()方法删除元素等。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值