linux下处理大文件程序的编译参数

最新推荐文章于 2022-04-13 15:53:48 发布
最新推荐文章于 2022-04-13 15:53:48 发布
阅读量2k 收藏 1
点赞数
分类专栏： C/C++ 文章标签： linux gcc 64bit file
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/summer_liuwei/article/details/6225788
版权

为使程序可以处理大文件的能力，在gcc编译时，加入的大文件(大于2G)支持参数：-D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE。

这些编译参数让编译后的程序支持64bit的系统调用操作，从而是程序处理没有2G文件的限制。

 

这些参数需用在编译命令中：

CXXFLAGS    = -static -g -c -I$(INCLUDEDIR) -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64

 

gcc  $(CXXFLAGS) $(SOURCEFILE)

summer_liuwei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux 大文件文本处理
u010236164的专栏
05-06 2380
前言：   最近项目在做数据分析，需要接入大量的客户数据；理论上如果我直接访问对方数据库不会慢的，但是对方不允许我们直接访问，要他们推送给我们，一个mysql数据库做中转，这中间写入mysql，我从mysql 读取，速度慢太多了。因此考虑历史数据通过文件发送给我们。综合考虑采用方案为实时数据采用推送，历史数据采用文件一次性给我们。这就带来了一个问题，历史数据有100G。直接读取，内存受不了。按行读...
linux下编译程序使其处理超过2G的大文件
fanfan_821的专栏
04-18 890
为使程序可以处理大文件的能力，在文件中可以添加： #define -D_LARGEFILE_SOURCE #define -D_LARGEFILE64_SOURCE #define -D_FILE_OFFSET_BITS=64   在gcc编译时，加入的大文件(大于2G
【Linux基础系列】大文件处理
natpan的博客
07-11 552
1、大文件分割成小文件 split -b 40M bigfile 2、循环执行每个小文件，配合 awk sed 处理 ls x* |while read file;do cat /data/keys/$file |awk '{print $1}' > /data/keys/strkey/$file;done ...
linux构造大文件,Linux 大文件处理
weixin_31463457的博客
04-29 346
创建大文件：1. 创建文件：touch /mnt/b/bigfile2. 扩大文件至100M：dd if=/dev/zero f=/mnt/b/bigfile bs=1024k count=100挂载成文件系统：1. 格式化文件：mkfs.ext3 /mnt/b/bigfile2. 挂载文件系统：mount -o loop /mnt/b/bigfile /mnt/a后续：1. 取消挂载：umoun...
Linux 大文件快速处理小的办法
ShuYunBIGDATA的博客
09-06 302
试谈Linux环境下程序编译.ppt
11-12
【Linux环境下程序编译】 Linux操作系统与C语言的结合具有深厚的历史渊源，因为Linux最初的构建就是在C语言的基础上实现的，而C语言也正是在Unix系统的发展中逐渐成熟和普及。在Linux环境中，编译C语言程序的主要...
linux下java环境gdal编译好的文件
09-24
在Linux环境下，Java开发者经常需要处理与GDAL（Geospatial Data Abstraction Library）相关的项目。GDAL是一个开源的地理空间数据处理库，它提供了多种数据格式的读写能力，并支持空间几何操作和坐标系统转换。这个...
试谈Linux环境下程序编译(ppt-34页).ppt
最新发布
11-13
在Linux环境下进行程序开发，C语言是常用的编程语言，因为Linux和C有着深厚的渊源。Linux的起源可以追溯到Unix，Unix系统在被重写为C语言后得到了广泛的接纳，而C语言也在Unix的开发和传播中发展壮大。Linux平台上的...
在Linux下编译C或C++程序的教程
01-20
在Linux环境下编译C或C++程序是一项基本技能，尤其对于开发者来说至关重要。无论是Ubuntu、Red Hat、Fedora、Debian还是其他Linux发行版，遵循相同的基本步骤即可完成编译。下面将详细介绍如何在Linux中配置环境并...
Linux下ppp2.4.7源码及编译步骤.rar
06-11
总结，这个压缩包提供了一个在Linux下编译和使用ppp2.4.7的完整流程。对于熟悉源代码编译和网络连接管理的用户，这是一个很好的学习资源，可以深入了解PPP协议的工作原理和实现。同时，对于需要自定义ppp功能或解决...
如何快速将Linux 大文件处理小
coderOnline的博客
02-04 156
1.背景 工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)： 2. 采用的方法 a. 方法1 原本打算使用如下脚本，进行简单验证： !/bin/bashcount=0cat oriTest.txt | while read datadocount=$(( $count+1 ))echo
c语言中文件的检测方法,C语言中大文件的读取方法
weixin_31444881的博客
05-21 432
在我们的c语言学习中，经常会需要用C操作文件，但是使用fopen和fseek的时候，在32位操作系统中，没办法操作2G以上的文件，这时我们可以通过open64、lseek解决这个问题：(华清远见嵌入式培训内部资料)1 #include < span>stdio.h<2// #define _LARGEFILE_SOURCE3// #define _LARGEFILE64_SOUR...
UE4/5 [c4668] 没有将 “_LARGEFILE64_SOURCE”定义为预处理器宏，用“0”替换“#if/#endif”
qq_29870721的博客
04-13 1069
在插件开发中遇到的问题，造成问题的原因暂不清楚 解决方案： 在模块的build.cs文件中，添加这样一行 bEnableUndefinedIdentifierWarnings = false; 这个字段的官方注释如下
Linux大文件使用
lsk_30514的专栏
05-18 438
支持大文件的两种方式：1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE2、注意一定要定义在include之前#define _LARGEFILE_SOURCE#define _LARGEFILE64_SOURCE#define _FILE_OFFSET_BITS 64建议两种方式都加上。可以在GDB调试时打印p sizeof(off_t)
访问大文件
liao__ran的博客
09-29 160
//访问大文件 #define _LARGEFILE64_SOURCE #include <sys/stat.h> #include <fcntl.h> #include "tlpi_hdr.h" #define EXIT_SUCESS 0 int main(int argc, char *argv[]) { int fd; off64_t off; if (argc != 3 || strcmp(argv[1],"--help") == 0) .
fseek linux 大文件_Linux C 读写超过2G的大文件 注意事项
weixin_36155754的博客
02-15 811
背景在项目中做大文件的增量读写，遇到了问题：fopen : Value too large for defined data type.习惯性地根据这个提示查阅的有关资料显示：1)工具链太老了：海思的工具链我目前找不到更换的方法，也为了稳定性，不再增加新的ulibc库2)文件系统的 inde是 64位的：查看了 cat /proc/fs/{文件系统类型}/{设备名}/options，发现一切正常显...
linux生成4g文件,linux中创建超过4g文件的方法-o_largefile?
weixin_30934229的博客
04-29 572
支持大文件的两种方式：1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE2、注意一定要定义在include之前#define _LARGEFILE_SOURCE#define _LARGEFILE64_SOURCE#define _FILE_OFFSET_BITS 64建议两种方式都加上。如何create大文件要大就非常大，1T吧。有两种方法：一.dddd i...
linux生成4g文件,linux中創建超過4g文件的方法-o_largefile
weixin_36180068的博客
04-29 248
支持大文件的兩種方式：1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE2、注意一定要定義在include之前#define _LARGEFILE_SOURCE#define _LARGEFILE64_SOURCE#define _FILE_OFFSET_BITS 64建議兩種方式都加上。如何create大文件要大就非常大，1T吧。有兩種方法：一.dddd i...
《Linux系统调用：大文件概念》
yexiangCSDN的专栏
12-02 303
补充一点 (大文件)： 通常将存放文件偏移量的数据类型off_t实现为一个有符号的长整形，（之所以采用有符号数据类型是要以 -1 来表示错误情况）对于open,close等系统调用一般来说正常使用基本没什么问题，但是也是有局限性，在32位体系中文件的大小不能超过2G(2^31-1)，如果超过了linux 下是有另外专门的一套API接口实现 LFS（Large file support），Lin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值