【C++】使用vector存储百万级数据怎么优化？

最新推荐文章于 2023-01-10 09:41:26 发布
最新推荐文章于 2023-01-10 09:41:26 发布
阅读量2.1k 收藏 8
点赞数
分类专栏： C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zhenzhong_Xu/article/details/116657932
版权

描述：vector存储百万级数据如何优化？

一百万个int， 100 0000 * 4B = 4 * 10^6 B, 也就是4MB，还没L3 cache大，请问你还想怎么优化？？？？？？？？？？？？？？？？？？？？？？？？？

一百万个int， 100 0000 * 4B = 4 * 10^6 B, 也就是4MB，还没L3 cache大，请问你还想怎么优化？？？？？？？？？？？？？？？？？？？？？？？？？

一百万个int， 100 0000 * 4B = 4 * 10^6 B, 也就是4MB，还没L3 cache大，请问你还想怎么优化？？？？？？？？？？？？？？？？？？？？？？？？？

一百万个int， 100 0000 * 4B 

最低0.47元/天 解锁文章
Xbox4KpsX
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
对vector排序_数据结构——算法初步（4）——合并排序算法
weixin_36403838的博客
01-26 212
从之前的学习可以看到，对大型vectory要求的排序，选择排序算法显然不符合要求，因为运行时间与输入问题规模大小的平方成比例增加，对于以线性顺序处理向量的元素的大多数排序算法也是如此。 所以要采用不同的方法来开发更好的排序算法。我们可以试着反过来思考。强大的分治法（divide-and-conquer）分治法的具体详见 C++抽象编程——递归简介（1）——递归范式 我们先来看看排序算法的性能为什...
面试题:vector和map的区别，异同。空间分布，100万数据存哪个比较合适。
森明帮大于黑虎帮的博客
10-13 5298
文章目录一、 迭代器区别二、vector三、Map、Set四、vector_map 为什么比map效率高五、如何选择六、容器选择原则七、效率对比 一、 迭代器区别 ①vector为顺序容器，erase迭代器不仅使所有指向被删元素的迭代器失效，而且使被删元素之后的所有迭代器失效，所以不能使用erase(iter++)的方式，但是erase的返回值为下一个有效的迭代器：可以这样使用： for( iter = c.begin(); iter != c.end(); ) iter = c.erase(iter);
C++ 系统中数据存储---vector用法
m0_59081230的博客
03-30 4275
在用C++做系统时，常常会遇到数据保存的问题。在用C语言我们常常使用一个结构体数组来保存我们所需要的多个数据，但是在C++面向对象程序设计时，我们常常使用链表和容器（vector）来接受所需要的数据。 一，定义 向量（Vector）是一个封装了动态大小数组的顺序容器（Sequence Container）。跟任意其它类型容器一样，它能够存放各种类型的对象。可以简单的认为，向量是一个能够存放任意类型的动态数组。 二、特性 1.顺序序列 顺序容器中的元素按照严格的线性顺序排序。可以通过元素在序列中
关于vector容器插入数据的一个优化操作
xiaohongmao663832的博客
07-29 1316
环境:window10 + vs2015 假定现在有如下代码: vector<int> vec_int; clock_t c1 = clock(); for (size_t i = 0; i < 90000000; i++) { vec_int.push_back(i); } clock_t c2 = clock(); cout<<"cost time : ...
C++： 生成100万随机数， 排序后保存到文件中
博客已迁移至 http://chenzz.me
09-19 3920
简介 代码 参考 http://blog.csdn.net/hackbuteer1/article/details/6574908
大数据量下vector的存数据效率，排序
HETONGDE的博客
05-08 2215
下面是验证代码，往vector里面填入数据，实验后发现几个现象： 1. vector插入大量数据时，用reserve比不用效率高 2. 用vector先填入数据再sort比直接用set效率要高 3.vector里面存结构体指针，内存用的少，大数据量时建议用 4 vector 里面用智能指针，不用考虑内存释放，std::shared_ptr<BigTestStruct>，但...
C++中vector容器使用详细说明
09-01
`vector`在C++编程中有着广泛的应用，例如在数组操作、动态数组管理、存储和遍历数据集等场景。了解并熟练使用`vector`，可以显著提高代码的效率和可读性。在实际编程中，应根据具体需求选择合适的容器，如数组操作...
C++从文本文件读取数据到vector中的方法
09-01
在C++编程中，有时我们需要从文本文件读取数据并将其存储到容器中，例如`std::vector`。`std::vector`是一个动态大小的数组，它可以方便地扩展以适应不断变化的数据需求。本篇文章将详细讲解如何使用C++从文本文件...
c++ 实验课作业，Vector 缓存所有数据
04-14
在C++编程中，`std::vector`是一个非常重要的容器，它允许我们动态地存储一组同类型的元素。在这个“c++ 实验课作业”中，学生们被要求利用`std::vector`来缓存数据，并通过虚函数将其保存到文件中。这个任务旨在...
C++中vector可以作为map的键值实例代码
08-30
该方法可以广泛应用于实际开发中，例如在项目中根据状态找到一个对应的结果时，可以使用map容器来存储状态和结果之间的映射关系，并且使用vector作为键值类型来存储复杂的状态信息。 本文为大家介绍了C++中vector...
vector1_STL_C++_vector_
10-02
在C++编程语言中，标准模板库（Standard Template ...总之，C++中的`vector`容器在处理动态数组需求时非常有用，提供了丰富的操作接口和高效的数据管理。理解和熟练运用`vector`是成为合格的C++程序员的关键步骤之一。
[算法]“百万级”浮点数排序
LumenWang
02-10 1500
1_百万数据[IO/sort/vector]排序问题三步：读文件、排序、写文件一.读文件二、读文件后检测容器大小和已知数据的匹配关系，设置数据精度三、排序（C++内置sort）四、写文件（※） 排序问题三步：读文件、排序、写文件 一.读文件 1.整体三秒版读文件[以行为单位的double数读入vector] [应用了filebuf-&amp;amp;amp;amp;amp;gt;sgetn、ifstream.rdbuf()、istri...
大规模数据对 vector 和 map 的压力
fisher_jiang的专栏
09-30 1549
平时的机器上跑个小程序，几百条数据，基本不会发现容器之间的差别。这也可能是许多人不去关心容器底层的原因。这篇文章是我拿到一个简历，上面写到精通STL，遂想出这个问题，让其来分析一下。（每次面试问过的我都公开，不问重复的 ^D）如果我们有超过十亿个用户自定义的对象 People,每个对象大小暂定12字节，那么分别用 vector 和map存储，在查找上性能有什么差别。C＋＋标准规定 ve
用C、C++写一个适用百万数据的排序，效率要高
weixin_35756373的博客
01-10 348
在 C 或 C++ 中写一个适用于百万级数据的高效排序算法，可以使用快速排序或归并排序。 快速排序是一种分治算法，它将一个数组分为两个子数组，其中一个子数组中的所有元素都小于另一个子数组中的元素，然后对两个子数组递归地执行相同的操作，最终达到排序的目的。 它的时间复杂度为 O(nlogn)。 归并排序是一种分治算法，它将一个数组分为两个子数组，然后将两个子数组有序地合并在一起。它的时间复杂度也是 ...
C++：动态内存分配和释放示例，使用结构体
qq_41708281的博客
05-03 609
// 堆内存分配_结构体_学生信息录入.cpp : 定义控制台应用程序的入口点。 // //使用堆内存分配方式实现学生信息录入功能 //要求程序运行时由用户输入学生人数 #include "stdafx.h" #include <iostream> using namespace std; struct Student //定义学生结构体 { char num[8]; char name[10]; int score; }; int _tmain(int argc, _TCHA.
C++海量数据处理
qq_35836473的博客
06-30 464
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？ 根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。 问题实例： 1).海量日志数据，提取出某日访问百度次数最多的那个IP。 IP的数目还
C++ 一看就会的vector容器用法
叶桐的博客
06-22 340
一、vector简介 在c++中vector是一个十分有用的容器，vector的存储空间是连续的。 作用它能够像容器一样存放各种类型的对象简单地说vector是一个能够存放任意类型的动态数组能够增加和压缩数据。 vector在C++标准模板库中的部分内容它是一个多功能的能够操作多种数据结构和算法的模板类和函数库。 二、使用注意 1、vector 如果数据超过预分配的内存，会重新分配一块更大的内存，将原数据赋值遍。所以vector插入大量数据会慢。 2、Vector作为函数的参数或者返回值时需要注意它的写法
C++中容器的优点和缺点
Stephen___Qin的博客
02-07 1372
顺序容器: 连续存储: array:优点--随机访问(一步直接得到数据的首地址的访问方式)方便,开销低,速度快.缺点--容量在定义时就确定了,不能够改变,中间删除和插入比较麻烦(需要后面的元素都移动) vector:优点--随机访问方便,可以自动扩容.缺点--中间插入或者删除数据比较麻烦;扩容往往增加为原来长度的2倍,可能造成空间浪费;只能后面追加元素 deque:优点--可以前后两端进行进行插入和弹出操作.缺点--中间插入和删除操作比较麻烦;按照固定步长分配内存,如果短时间内频繁分配内存,效...
在C++中用vector存储TXT中不同类型数据
最新发布
05-31
可以使用C++标准库中的`vector`容器来存储TXT中不同类型的数据。在读取TXT文件时，可以使用`ifstream`类打开文件，并使用`getline`函数逐行读取文件内容。在每一行中，可以使用字符串流`stringstream`来将字符串转换为不同类型的数据，然后将这些数据存储在`vector`容器中。 以下是一个示例代码，可以读取一个包含不同类型数据的TXT文件，并将其存储在`vector`容器中： ```c++ #include <iostream> #include <fstream> #include <sstream> #include <vector> #include <string> using namespace std; int main() { ifstream file("data.txt"); vector<int> ints; vector<double> doubles; vector<string> strings; string line; while (getline(file, line)) { stringstream ss(line); string word; while (ss >> word) { if (isdigit(word[0])) { // 如果第一个字符是数字，则将其转换为int或double类型 if (word.find('.') != string::npos) { // 如果包含小数点，则转换为double类型 doubles.push_back(stod(word)); } else { ints.push_back(stoi(word)); } } else { // 否则将其作为字符串类型存储 strings.push_back(word); } } } // 输出存储的数据 cout << "Ints:" << endl; for (int i : ints) { cout << i << " "; } cout << endl; cout << "Doubles:" << endl; for (double d : doubles) { cout << d << " "; } cout << endl; cout << "Strings:" << endl; for (string s : strings) { cout << s << " "; } cout << endl; return 0; } ``` 在这个示例代码中，我们首先打开了一个名为"data.txt"的文件，并定义了三个类型为`vector`的容器，分别用于存储整数、双精度浮点数和字符串。然后，我们使用`getline`函数逐行读取文件内容，并使用字符串流`stringstream`将每一行分解为单词。对于每个单词，我们检查其第一个字符是否为数字，如果是，则将其转换为`int`或`double`类型，并存储在相应的容器中；否则，将其作为字符串类型存储。最后，我们输出存储的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值