zfec用例

最新推荐文章于 2023-02-11 14:41:43 发布
最新推荐文章于 2023-02-11 14:41:43 发布
阅读量540 收藏 1
点赞数
分类专栏： C
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Greemeet/article/details/9015003
版权

※要求：

将一个视频文件分割成k个块，使用zfec库，编码出n个块，将这n个块当做n个文件记录在磁盘上。然后读取其中的n-2个文件，解码出新的视频文件，要能够顺利播放。提示：最后一个块剩余部分用全0补齐


编写代码的时候，我实际采用（4,8）编码，先将文件分块，再将每一块分成4份大小相同的原始数据块，调用库函数zfec生成4份检验块。


1.按4k大小分块

#include <stdlib.h>
#include <stdio.h>
#include <sys/fcntl.h>
#include <sys/stat.h>
#include <unistd.h>
#include <string.h>
#include "fec.h"

#define BUFSIZE (1024*4) 
//分块大小为4K
#define MOVIE_NAME "123.jpg"
#define file_target "target.jpg"
#define file_EC "EC.txt"

#define EC_K 4
#define EC_M 8
#define NR (EC_M - EC_K) 
#define SZ (BUFSIZE/EC_K) 
int main(int argv, char *argc[])
{
        int fd_target,fd_movie,fd_EC,i=0,j=0,num,ret;
	 unsigned long byte,byte_0;
        unsigned blocks[NR];
        fec_t *code;
        char buf[BUFSIZE] = {0};
        char dest[NR*SZ] = {0};
        char *src[EC_K];
        char *fecs[NR];
		
        for(i = 0; i < EC_K; i++)
             src[i] = buf + i*SZ;
        for(i = 0; i < NR; i++){
             blocks[i] = EC_K + i;
             fecs[i] = dest + i*SZ;
        }

        code = fec_new(EC_K, EC_M);
		
	  fd_movie = open(MOVIE_NAME,O_RDWR|O_APPEND|O_SYNC);
        fd_EC = open(file_EC,O_RDWR|O_APPEND|O_CREAT|O_SYNC);
        if(fd_movie < 0 || fd_target < 0 ){
             printf("file open failed!\n");
             return -1;
        }
		
	/* lseek( fd_movie, 0, SEEK_END );
       movie_size=ftell(fd_movie);*/
	 lseek( fd_movie, 0, SEEK_SET ); 
	 lseek( fd_EC, 0, SEEK_SET ); 
	 printf("init is succesful!\n");

	 
//encode
	while((byte = read(fd_movie,buf,BUFSIZE))>0){

		//最后一块用0  补齐
		
             fec_encode(code, (const gf*const*)src, (const gf*const*)fecs, blocks, NR, SZ);
             ret = write(fd_EC, buf, BUFSIZE);  
             if(ret < 0)
                 return -1;
             ret = write(fd_EC, dest, NR*SZ);  
             if(ret < 0)
                 return -1;
	
	      memset(buf,0,BUFSIZE);
		
        }
	 printf("encode is succeful ! \n");

	 
//decode,假设数据全部失效

        char *in_recovery[EC_K] = {fecs[0], fecs[1], fecs[2],fecs[3]};
        char buf_recovery[4*SZ];
        char *out_recovery[4] = {buf_recovery, buf_recovery+SZ,buf_recovery+2*SZ,buf_recovery+3*SZ};
        unsigned index[EC_K] = {4,5,6,7}; 

	  fd_target = open(file_target,O_RDWR|O_APPEND|O_CREAT|O_SYNC);
	  lseek( fd_EC, 0, SEEK_SET ); 
	  while(read (fd_EC,buf,BUFSIZE) > 0){
		 byte = read(fd_EC,dest,BUFSIZE);
		
		 if(byte!=BUFSIZE)
		 	return -1;
		 fec_decode(code, (const gf*const*)in_recovery, (const gf*const*)out_recovery, index, SZ);
		 ret=write(fd_target,buf_recovery,BUFSIZE);
		 if(ret < 0)
                 return -1;
		 memset(buf_recovery,0,BUFSIZE);
		
	  }
	  printf("decode is succeful ! \n");
	  
	  close(fd_target);
        close(fd_movie);
	  close(fd_EC);
	 
        return 0;
}


2.按4M大小分块

#include <stdlib.h>
#include <stdio.h>
#include <sys/fcntl.h>
#include <sys/stat.h>
#include <unistd.h>
#include <string.h>
#include "fec.h"

#define BUFSIZE (1024*1024*4) 
//分块大小为4M
#define MOVIE_NAME "S01E01.mkv"
#define file_target "target.mkv"
#define file_EC "EC111.txt"

#define EC_K 4
#define EC_M 8
#define NR (EC_M - EC_K) 
#define SZ (BUFSIZE/EC_K) 
int main(int argv, char *argc[])
{
        int fd_target,fd_movie,fd_EC,i=0,j=0,num,ret;
	 unsigned long byte,byte_0;
        unsigned blocks[NR];
        fec_t *code;
        char *buf=(char*)malloc(BUFSIZE);
        char *dest=(char*)malloc(BUFSIZE);
        char *src[EC_K];
        char *fecs[NR];
		
        for(i = 0; i < EC_K; i++)
             src[i] = buf + i*SZ;
        for(i = 0; i < NR; i++){
             blocks[i] = EC_K + i;
             fecs[i] = dest + i*SZ;
        }

        code = fec_new(EC_K, EC_M);
		
	  fd_movie = open(MOVIE_NAME,O_RDWR|O_APPEND|O_SYNC);
        fd_EC = open(file_EC,O_RDWR|O_APPEND|O_CREAT|O_SYNC);
        if(fd_movie < 0 || fd_target < 0 ){
             printf("file open failed!\n");
             return -1;
        }
		
	/* lseek( fd_movie, 0, SEEK_END );
       movie_size=ftell(fd_movie);*/
	 lseek( fd_movie, 0, SEEK_SET ); 
	 lseek( fd_EC, 0, SEEK_SET ); 
	 printf("init is succesful!\n");

	 
//encode
	while((byte = read(fd_movie,buf,BUFSIZE))>0){

		//最后一块用0  补齐
		
             fec_encode(code, (const gf*const*)src, (const gf*const*)fecs, blocks, NR, SZ);
             ret = write(fd_EC, buf, BUFSIZE);  
             if(ret < 0)
                 return -1;
             ret = write(fd_EC, dest, NR*SZ);  
             if(ret < 0)
                 return -1;
	
	      memset(buf,0,BUFSIZE);
		
        }
	 printf("encode is succeful ! \n");

	 
//decode,假设数据全部失效

        char *in_recovery[EC_K] = {fecs[0], fecs[1], fecs[2],fecs[3]};
        char *buf_recovery=(char*)malloc(BUFSIZE);
        char *out_recovery[4] = {buf_recovery, buf_recovery+SZ,buf_recovery+2*SZ,buf_recovery+3*SZ};
        unsigned index[EC_K] = {4,5,6,7}; 

	  fd_target = open(file_target,O_RDWR|O_APPEND|O_CREAT|O_SYNC);
	  lseek( fd_EC, 0, SEEK_SET ); 
	  while(read (fd_EC,buf,BUFSIZE) > 0){
		 byte = read(fd_EC,dest,BUFSIZE);
		
		 if(byte!=BUFSIZE)
		 	return -1;
		 fec_decode(code, (const gf*const*)in_recovery, (const gf*const*)out_recovery, index, SZ);
		 ret=write(fd_target,buf_recovery,BUFSIZE);
		 if(ret < 0)
                 return -1;
		 memset(buf_recovery,0,BUFSIZE);
		
	  }
	  printf("decode is succeful ! \n");
	  free(buf);
	  free(dest);
	  free(buf_recovery);
	  
	  close(fd_target);
         close(fd_movie);
	  close(fd_EC);
	 
        return 0;
}


注：

1.我一开始用char buf[]设置缓冲区，大小为4k，对几十K大小的JPG文件进行操作时没有问题，速度挺快，然后试着对一首大小为5M的歌，发现需要点时间，如果再换成几百M的视频，那就要等很久了，所以我想将buf设大一点，变成4M。

然后我很熟练的将#define BUFSIZE (1024*4) 改成#define BUFSIZE (1024*1024*4) ，编译执行，段错误。想来是因为这个数组过大而引起的，所以还是老老实实用char *buf=(char*)malloc(BUFSIZE);

2.char a[5];char *b = a + 2;b指向的是a[2]。char *b = a ;等价于 char *b = &a[0];

3.字符指针移位的问题

char *p = "abcde";
*（p+1）= 'w';
编译通过，运行出错，为何？

 因为 p 没有分配内存，指向的是系统的内存，那段内存是只读的，因此改变那里的值是错误的

上面的可以理解为

const char a[] = "abcde";
char *p = a;
*(p+1) = 'w';  // 错误，因为a是const的，也就是只读的

char a[] = "abcde";
char *p = a;
*(p+1) = 'w';  // 这样是正确的，因为a那段内存是可写的

引用：

这个不好说，不能明确说它放在什么地方，给你举个例子吧，用指针来举个例子
定义一个字符串常量：char* p =  "what are doing？"
那么在这句话中，p和 "what are doing？"这两个是不在一个存储区上的，不过我认为字符串常量应该是存储在正文段和数据段之间，也有人说是放在静态存储区上，也有人说是放在rodata  只读数据段上，你可以自己从gdb上看一下。这里我给你一点资料你理解一下，我们一块学习啊


这里是几个存放数据的内存段：
1）正文段——CPU执行的机器指令部分；一个程序只有一个副本；只读，防止程序由于意外事故而修改自身指令； 
2）初始化数据段（数据段）——在程序中所有赋了初值的全局变量，存放在这里。 
3）非初始化数据段（bss段）——在程序中没有初始化的全局变量；内核将此段初始化为0。 
4）栈——增长方向：自顶向下增长；自动变量以及每次函数调用时所需要保存的信息（返回地址；环境信息）。 
5）堆——动态存储。


这里还有一段有个高人写的一段小程序，很详细的
 
//main.cpp   

int a = 0; 全局初始化区   
char *p1; 全局未初始化区   
main()   
{   
int b; 栈   
char s[] = "abc"; 栈   
char *p2; 栈   
char *p3 = "123456"; 123456\0在常量区，p3在栈上。   
static int c =0； 全局（静态）初始化区   
p1 = (char *)malloc(10);   
p2 = (char *)malloc(20);   
分配得来得10和20字节的区域就在堆区。   
strcpy(p1, "123456"); 123456\0放在常量区，编译器可能会将它与p3所指向的"123456"
优化成一个地方。

参考：http://zhidao.baidu.com/question/345236310.html




Greemeet
关注
专栏目录
zfec源码解析与实例解析
liangxanhai的专栏
10-30 1万+
zfec是一种前向纠删码，用于给原始数据增加冗余信息，以提高数据的安全性。zfec提供了诸如c、python等语言的接口。在这里只介绍有关c语言的接口。（这篇文章主要是参考学习博客http://www.dullgull.com/2012/07/zfec-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90/，但是代码部分是原创的并且保证是正确的）    zfec源代码的下载地
如何从用例得到测试用例
03-23
用例和测试用例有不同的起源，并服务于尽管相关但却不同的目的，所以从用例到测试用例并不简单，但还是有合理的步骤，首先我们定义一下场景的概念：场景：或用例的一个实例，是一个用例的执行，其中特定用例以特定...
Python-zfec一个高效便携erasure编码工具
08-10
zfec -- 一个高效、便携erasure编码工具
Python 使用zfec 纠删码示例
超级码力
09-20 753
源码地址：https://github.com/tahoe-lafs/zfec 安装zfec python -m pip install zfec 示例 例如我们有k个数据块，我们希望生成m个数据块（m>=k)，从而可以使用m个数据块中的任意k个恢复出原来的数据块。 这里，我们取k=2，m=3，原始数据是二进制字符串b'abcde' 。需要注意的是，为了保证原始数据能被k整除，该工具会对数据添加padding，padding为b'\x00'。 编码时，会得到一个数组，每个元素是一个二进制字符串（数据
Python常见第三方库在Windows安装报错解决方案
热门推荐
lynnyq
04-19 2万+
Python常见第三方库在Windows安装报错解决方案 最近在Windows下开发，发现很多第三方库在Windows上的兼容性都不是很好，通过谷哥度娘后，发现一个非官方的临时解决方案，先贴上地址：Unofficial Windows Binaries for Python Extension Packages PS：官方方案：使用Linux发行版。 1.安装方法 找到库后下载对应使用的P...
测试用例规范
elmoyan的博客
08-23 4817
统一测试用例编写规范，为测试用例设计人员提供测试用例编写的指导，提高编写的测试用例的可读性，可执行性、合理性。为测试执行人员更好的执行测试，提高测试效率，最终提高整个产品的质量。
设计测试用例
如风暖阳的博客
01-10 2457
设计测试用例
支付功能测试用例
所寫即所思｜一个阿里质量人对测试的所感所悟。
02-11 2549
支付功能测试用例
测试用例编写
weixin_53850894的博客
09-28 1621
（1）系统中要求日期应当在范围在 200001 - 202212内。（2）请用等价类划分法设计测试用例，来对日期检查功能进行用例设计。
用例建模
万事胜意
04-21 7045
用例建模UML需求建模图示需求分析阶段的工作任务什么是业务用例建模什么是用例图用例图的作用用例图对开发的意义大学信息系统的一个用例图如何建立用例模型用例图的组成UML需求建模过程用例建模技术确定系统的范围和边界识别参与者识别用例识别用例间的关系***（1）参与者与用例之间的关系******（2）参与者之间关系******（3）用例之间关系***详解：包含(include)关系详解：扩展(exten...
相机测试用例
星
08-18 4847
测试用例
小红书Android端用例设计
最新发布
03-07
本资源为小红书Android端用例设计： 1.所设计的测试用例基于小红书首页，其测试用例中有基本的测试用例设计逻辑和思维； 2.下载本资源的小伙伴还请秉承学习与找到遗漏用例的态度进行阅读； 3.本资源所设计的用例所...
系统测试用例评审检查表.pdf
07-14
系统测试用例评审是软件开发过程中的一个重要环节，它确保测试用例的质量，进而提高整个系统的测试覆盖率和问题发现能力。以下是对系统测试用例评审检查表的详细说明： 1. **整体测试流程的完整性**：评审的第一步...
物流系统测试用例1
08-08
物流系统测试用例是确保物流管理系统（LMS）功能正确性、稳定性和高效性的关键步骤。测试用例设计旨在模拟真实场景，验证系统的各个部分是否按照预期运行，从而避免潜在问题影响业务流程。以下是根据标题和描述提取...
AUTOSAR网络管理测试用例
06-20
目前汽车行业很多都已运用了AUTOSAR系统，那么对于AUTOSAR的网络管理测试也越来越重要，AUTOSAR...所以在网络管理测试时必然要去编写测试用，通过测试用例去进行自动化上位机的程序设计，此测试用例就是一个通用模板，
禅道用例库
课题研究小组
12-29 4243
1、用例库维护： 在禅道的测试/用例库，可以创建用例库。使用用例库的好处是可以将通用的组件用例统一维护，在测试过程中遇到相同的组件可以直接引用该用例。即实现了组件测试用例的统一性也提高了用例编写的效率。 可以将用例库拆分成组件用例库和通用功能用例库 2、用例引用 在测试页签中，选择从用例库中导入。就可以从用例库选择事先写好的用例。 ...
图解RS纠删码原理
06-03 2036
※基本模型 假如有n个存储设备（这里可以理解为磁盘或节点）D1、D2…..，Dn，其中每个存储设备的容量为k个字节，这n个设备称为数据设备。m个存储设备，C1、C2、…..，Cm,每个设备的容量也为k个字节，这m个设备称为校验设备。其中每个校验设备的数据是通过数据设备的内容计算而来。 ※下图给出纠删码在物理逻辑层次应用的一个场景: D 是Data Device ，用于保
open和fopen等函数
06-24 707
1.open() 以下是 open 函数的简单描述 #include         int open(const char *pathname, int oflag, mode_t mode);        返回值：成功则返回文件描述符，否则返回 -1.第三个参数mode仅当创建新文件时才使用，用于指定文件的访问权限位。 pathname 是待打开/创建文件的路径名（如 C:/
pread()和pwrite()
06-24 689
1.pread() 功能:带偏移量地从文件中读取数据 函数原型:ssize_t pread(int fd, void *buf, size_tcount, off_toffset); 返回值：成功，返回成功读取数据的字节数；失败，返回-1； 参数：　　 (1) fd：要读取数据的文件描述符　　 (2) buf：数据缓存区指针，存放读取出来的数据　　 (3) count：读取数据的
UML用例建模基础教程
"uml用例建模指南" 本文是针对初学者的UML用例建模教程，由傅纯一，Rational中国区技术销售经理，IBM中国有限公司软件部的专家撰写，发布时间为2004年11月01日。用例建模是一种描述系统需求的方法，尤其在Rational...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值