linux多线程写文件内容丢失,求助，多线程写入文件错乱问题！！～～

最新推荐文章于 2023-08-11 10:36:45 发布
最新推荐文章于 2023-08-11 10:36:45 发布
阅读量325 收藏
点赞数
文章标签： linux多线程写文件内容丢失

一、多线程版本

#include

#include

#include

#include

#include

#include

#define BUFF_SIZE 512

#define PTHREAD_NUMBER 4

typedef struct copy_block{

// char src[BUFF_SIZE]; //source file

// char dest[BUFF_SIZE]; //destnation file

FILE *src; //source file

FILE *dest; //destnation file

long start; //begin position

long segment_size; //aim copy size

int id; //virtual thread id

}__attribute__((packed)) Page;

long file_size(const char *filename);

void pthread_copy(void *task_info);

int multi_copy(const char *dest,const char *src);

int main(int argc,char *argv[])

{

if(argc < 3)

{

fprintf(stderr,"Error params!\n");

return 0;

}

char *src = argv[1];

char *dest = argv[2];

multi_copy(dest,src);

return 0;

}

//get file size

long file_size(const char *filename)

{

struct stat fstat;

memset(&fstat,0,sizeof(fstat));

stat(filename,&fstat);

return fstat.st_size;

}

//thread task

void pthread_copy(void *task_info)

{

//convert void * to Page *

Page *p = (Page *)task_info;

//open file for every thread

// FILE *fin = fopen(p->src,"rb");

// FILE *fout = fopen(p->dest,"ab+");

//seek the stream to the offset

int res_in = fseek(p->src,p->start,SEEK_SET);

int res_out = fseek(p->dest,p->start,SEEK_SET);

char buffer[BUFF_SIZE]; //buffer

long read_size = BUFF_SIZE; //the size for read

long left = p->segment_size; //current left bytes

long read_len = 0; //the size has read

long total_len = 0; //the readed total size

printf("Thread %d begin\t",p->id);

printf("start %ld\t",p->start);

printf("segment_size %ld\n",p->segment_size);

// printf("src %s\t",p->src);

// printf("dest %s\n",p->dest);

//begin copy

while(left > 0)

{

if(left < read_size)

{

read_size = left;

}

//read file

read_len = fread(buffer,sizeof(char),read_size,p->src);

total_len += read_len;

//write file

if(read_len > 0)

{

fwrite(buffer,sizeof(char),read_len,p->dest);

}

//the left size

left -= read_len;

}

pthread_exit(NULL);

}

//create multi thread

int multi_copy(const char *dest,const char *src)

{

//file is exists

int file_exists = access(src,04);//read access

if(file_exists != 0)

{

fprintf(stderr,"file is not exists!\n");

return 1;

}

//file size

long filesize = file_size(src);

//pthread number

int real_pthread_number = PTHREAD_NUMBER;

if(filesize < BUFF_SIZE)

{

real_pthread_number = 1;

}

Page *p = (Page *)malloc(sizeof(*p) * real_pthread_number);

long offset = 0; //offset from file begin

long segment = filesize / real_pthread_number; //the bytes of every thread

long segment_remain = filesize % real_pthread_number; //the left bytes for the last thread

//ctor the task_info

//open file for every thread

FILE *fin = fopen(src,"rb");

FILE *fout = fopen(dest,"wb+");

int i;

for(i = 0;i < real_pthread_number;i++)

{

if((i + 1) == real_pthread_number)

{

p[i].segment_size = segment + segment_remain;

}

else

{

p[i].segment_size = segment;

}

//task file pointer offset

p[i].start = offset;

offset += p[i].segment_size;

//file path

// strncpy(p[i].src,src,strlen(src));

// strncpy(p[i].dest,dest,strlen(dest));

p[i].src = fin;

p[i].dest = fout;

//virtual thread id

p[i].id = i;

}

//create thread

pthread_t work[real_pthread_number];

for(i = 0;i < real_pthread_number;i++)

{

pthread_create(&work[i],NULL,(void *)&pthread_copy,(void *)&p[i]);

}

//wait subthread exit

for(i = 0;i < real_pthread_number;i++)

{

pthread_join(work[i],NULL);

}

//free

if(p != NULL)

{

free(p);

p = NULL;

}

fclose(fin);

fclose(fout);

return 0;

}

在main中以rb打开源文件,wb+打开目标文件

修改结构体存储文件指针

在线程pthread_copy中操作文件指针位置,去除打开文件操作(在线程中以wb+打开文件会将文件截断为0)

在线程调度函数multi_copy中打开文件并在末尾关闭文件

将文件指针赋给每个线程的task_info结构体成员

二、线程锁版本

#include

#include

#include

#include

#include

#include

#define BUFF_SIZE 512

#define PTHREAD_NUMBER 4

typedef struct copy_block{

char src[BUFF_SIZE]; //source file

char dest[BUFF_SIZE]; //destnation file

long start; //begin position

long segment_size; //aim copy size

int id; //virtual thread id

}__attribute__((packed)) Page;

static pthread_mutex_t mut;

long file_size(const char *filename);

void pthread_copy(void *task_info);

int multi_copy(const char *dest,const char *src);

int main(int argc,char *argv[])

{

if(argc < 3)

{

fprintf(stderr,"Error params!\n");

return 0;

}

char *src = argv[1];

char *dest = argv[2];

multi_copy(dest,src);

return 0;

}

//get file size

long file_size(const char *filename)

{

struct stat fstat;

memset(&fstat,0,sizeof(fstat));

stat(filename,&fstat);

return fstat.st_size;

}

//thread task

void pthread_copy(void *task_info)

{

pthread_mutex_lock(&mut);

//convert void * to Page *

Page *p = (Page *)task_info;

//open file for every thread

FILE *fin = fopen(p->src,"rb");

FILE *fout = fopen(p->dest,"rb+");

if(fout == NULL)

{

fprintf(stderr,"Open file %s fail\n",p->dest);

return ;

}

//seek the stream to the offset

int res_in = fseek(fin,p->start,SEEK_SET);

int res_out = fseek(fout,p->start,SEEK_SET);

char buffer[BUFF_SIZE]; //buffer

long read_size = BUFF_SIZE; //the size for read

long left = p->segment_size; //current left bytes

long read_len = 0; //the size has read

long total_len = 0; //the readed total size

printf("Thread %d begin\t",p->id);

printf("start %ld\t",p->start);

printf("segment_size %ld\t",p->segment_size);

printf("src %s\t",p->src);

printf("dest %s\n",p->dest);

//begin copy

while(left > 0)

{

if(left < read_size)

{

read_size = left;

}

//read file

read_len = fread(buffer,sizeof(char),read_size,fin);

total_len += read_len;

//write file

if(read_len > 0)

{

fwrite(buffer,sizeof(char),read_len,fout);

}

//the left size

left -= read_len;

}

fclose(fin);

fclose(fout);

pthread_mutex_unlock(&mut);

pthread_exit(NULL);

}

//create multi thread

int multi_copy(const char *dest,const char *src)

{

//file is exists

int file_exists = access(src,04);//read access

if(file_exists != 0)

{

fprintf(stderr,"file is not exists!\n");

return 1;

}

int dest_file_exists = access(dest,04);

if(dest_file_exists != 0)

{

fprintf(stderr,"File %s not exists,create it\n",dest);

FILE *cfp = fopen(dest,"w");

fclose(cfp);

}

//file size

long filesize = file_size(src);

//pthread number

int real_pthread_number = PTHREAD_NUMBER;

if(filesize < BUFF_SIZE)

{

real_pthread_number = 1;

}

Page *p = (Page *)malloc(sizeof(Page) * real_pthread_number);

long offset = 0; //offset from file begin

long segment = filesize / real_pthread_number; //the bytes of every thread

long segment_remain = filesize % real_pthread_number; //the left bytes for the last thread

//ctor the task_info

int i;

for(i = 0;i < real_pthread_number;i++)

{

if((i + 1) == real_pthread_number)

{

p[i].segment_size = segment + segment_remain;

}

else

{

p[i].segment_size = segment;

}

//task file pointer offset

p[i].start = offset;

offset += p[i].segment_size;

//file path

strncpy(p[i].src,src,strlen(src));

strncpy(p[i].dest,dest,strlen(dest));

//virtual thread id

p[i].id = i;

}

//create thread

pthread_mutex_init(&mut,NULL);//init thread lock

pthread_t work[real_pthread_number];

for(i = 0;i < real_pthread_number;i++)

{

pthread_create(&work[i],NULL,(void *)&pthread_copy,(void *)&p[i]);

}

//wait subthread exit

for(i = 0;i < real_pthread_number;i++)

{

pthread_join(work[i],NULL);

}

//free

if(p != NULL)

{

free(p);

p = NULL;

}

return 0;

}

PAN YAO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux C编程练习—多线程写文件
Rainbows666的博客
08-27 961
多线程写文件 1、程序要求 4个线程向4个文件1.txt，2.txt，3.txt，4.txt写入数据，每个线程只能写一个值 线程A：只写1 线程B：只写2 线程C：只写3 线程D：只写4 2、输出结果： 1.txt：12341234… 2.txt：23412341… 3.txt：34123412… 4.txt：41234123… 源码分析 在这里插入代码片 ...
Python | 多线程处理数据并写入到文件，但数据内容存在残缺混乱的情况。
qq_50909707的博客
02-27 819
Python | 多线程处理数据并写入到文件，但数据内容存在残缺混乱的情况。_.-CSDN博客
Linux下write函数，多线程或多进程，写同一文件的原子操作
wang123hong的专栏
09-02 1228
Linux下write函数，多线程或多进程，写同一文件的原子操作
Linux多线程实现文件读写操作—copy
2201_76058089的博客
02-18 1653
Linux使用多线程实现文件的复制——copy,对文件进行读取，写入操作！
Linux下多个进程或线程同时对一个文件进行写操作
拾贝者
11-17 2976
http://apps.hi.baidu.com/share/detail/19901173 Linux下多个进程或线程同时对一个文件进行写操作，如何解决冲突？ 使用flock（锁定文件或解除锁定），简单可行！ 先介绍一下flock函数吧 头文件 #include 定义函数 int flock(int fd,int operation); 函数说明 flock()会依参
Linux 多线程文件读写操作 +实例
热门推荐
博学而笃志，切问而近思
02-24 1万+
邮箱通讯  声明以下全局变量 char cBuff[256];   //邮箱 int iHead;        //邮箱头指针 int iTail;        //邮箱尾指针   创建两个线程：XXX_Write和XXX_Read。 XXX_Write：读取一个文件（大点的），将文件内容按序写入邮箱，同时修改尾指针。即头尾指针之间的内容是提供给XXX_Read线程读取的。
file_dw.rar_多线程 读写_文件 系统 dw
09-14
2. **文件流与多线程**：在多线程环境下，直接使用标准I/O库进行文件操作可能导致数据错乱。通常需要使用锁或其他同步机制确保同一时刻只有一个线程访问文件。 3. **同步原语**：如互斥锁（Mutex）、信号量...
多线程导入excel 数据
01-04
在Java编程中，多线程导入Excel数据是一项常见的任务，特别是在大数据处理和高并发场景下。这个场景通常涉及到性能优化和资源管理，以确保系统稳定性和数据一致性。下面将详细阐述多线程导入Excel数据的核心知识点。...
多线程下载器.zip易语言项目例子源码下载
03-22
《多线程下载器——易语言项目实例解析》 在当今高速发展的互联网世界中，高效的数据传输成为了一项重要的需求。多线程下载器作为提升下载速度的有效工具，被广泛应用于各种场景。本文将深入剖析一个基于易语言实现...
linux下多进程多线程写文件
10-04
代码目的是比较write和printf多路写性能。首先fork生成子进程，并且在子进程中重定向标准输出；然后在父子进程中各创建10个线程分别利用printf和write进行写操作；最后通过返回值比较两者性能。
网络编程实现多线程客户端文件下载
07-21
在多线程环境下，需要确保线程安全地读取和写入文件，避免数据错乱。 5. **暂停与开始**：为了提供更好的用户体验，项目实现了文件传输的暂停和开始功能。这可能通过设置标志变量或使用信号量来控制线程的执行状态...
解决多线程丢数据的问题
最新发布
young：博客
08-11 1707
它可以保证在同一时间只有一个线程可以访问被保护的资源，其他线程需要等待锁的释放。在多线程编程中，最好使用线程安全的数据结构，这些数据结构已经被设计和优化，以确保在并发访问时不会出现问题。如果可能的话，将数据在不同的线程之间进行分割，避免它们同时访问相同的资源，从而减少竞争和数据丢失的可能性。多线程丢数据的问题是在多线程编程中常见的一个挑战，通常是由于多个线程同时访问共享资源而导致的。要仔细分析多线程访问共享资源的场景，并选择适当的同步机制，以确保数据的完整性和一致性。确保在不再需要共享资源时及时释放它们。
记一个Linux C编程中遇到的文件内容丢失问题
K0000000r的专栏
07-09 912
Linux C 编程中，一般写文件的代码基本都是这样的：int write_file(const char *filename, unsigned char *data, int data_len) { int ret = 0; FILE *f = NULL; do { f = fopen(filename, "wb+"); if (NUL...
linux下用cat查看了一个文件， 导致界面乱码
keilson的博客
03-24 5561
问题： [liukaisheng@wead-dmp bin]$ cat con1012.pyc  192.168.10.12tlTdge_de_de_de_d             这是二进制数据干扰了终端对字符的解析 用命令reset回车。 下次记得用od命令去看2进制文件。 参考链接： https:/
linux 多线程读写文件
jiletianzun的博客
03-04 1429
#include <stdio.h> #include <unistd.h> #include <string.h> #include <stdlib.h> #include <fcntl.h> #include <assert.h> #include <sys/stat.h> #include <sys/types.h> #include <pthread.h> #include<iostre
java多线程 丢数据_多线程list.add()丢数据
weixin_34355337的博客
02-16 1560
问题：根据项目业务需求需要统计数据传到前台以图表显示，每天数据量大概20万多，但是每次统计只能统计出10万的数据量，出现数据丢失。原因：该接口在之前一次优化时加了多线程，但是数据汇总用的仍是ArrayList，ArrayList线程不安全，当一条线程执行list.add()的时候会出现被另一条线程的值覆盖，比如线程A对list进行add，携带的size是n，同时线程B也进行add操作，携带的siz...
Linux系统环境下关于多进程并发写同一个文件的讨论
05-20 3298
Linux系统环境下关于多进程并发写同一个文件的讨论2011-09-18 14:42:19 分类： LINUX 讨论关于并发环境下，多个进程对同一文件写入的问题，我们会涉及到文件共享的知识。在开始之前，我们先讨论一些有关文件共享的知识。 1. 文件共享   Unix系统支持在不同进程间共享打开的文件。为此，我们先介绍一下内核用于所有I/O的数据结构。注意，下面的说明是概
研究WIN/Linux下多线程读写文件问题
zzhongcy的专栏
10-30 3702
多线程读取文件分�?/span>   分析结果�?/span>   平台 文件操作函数 场景 文件句柄 稳定�?/span> 平均时间 单位�?/span> Windows fopen fread 100个线程， 每个线程读取10M 100个线程共用一个句�?/span
多线程写文件
05-30
在多线程写文件时，需要注意以下几点： 1. 为了避免多个线程同时写同一个文件而导致数据错乱，可以使用锁机制来控制文件的访问。 2. 可以将文件分成多个部分，每个线程负责写入其中的一部分，这样可以提高写入效率。 3. 在写入文件时，应该将数据先缓存到内存中，然后再一次性写入文件，这样可以减少磁盘的读写次数，提高写入效率。 下面是一个多线程写文件的示例代码： ```python import threading class FileWriter: def __init__(self, filename): self.filename = filename self.lock = threading.Lock() def write(self, data): with self.lock: with open(self.filename, 'a') as f: f.write(data) def worker(file_writer, data): file_writer.write(data) if __name__ == '__main__': file_writer = FileWriter('test.txt') threads = [] for i in range(10): t = threading.Thread(target=worker, args=(file_writer, f'thread {i}\n')) threads.append(t) for t in threads: t.start() for t in threads: t.join() ``` 在这个示例中，我们创建了一个 `FileWriter` 类来封装文件的写入操作，并使用了一个锁来保证文件的访问安全。然后创建了多个线程，每个线程都会调用 `FileWriter` 类的 `write` 方法来写入数据。最后，等待所有线程执行完毕后，关闭文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值