c++大数据量压缩方法——基于数据位的数据解析方法

_东门吹雪

已于 2022-03-23 11:53:59 修改

阅读量3k

点赞数 1

分类专栏： C++ 文章标签： c++ 按位存取

于 2022-03-21 14:53:54 首次发布

本文链接：https://blog.csdn.net/octdream/article/details/123635366

版权

C++ 专栏收录该内容

27 篇文章 0 订阅

订阅专栏

该博客介绍了在面临大数据量存储于Redis时如何通过位操作提高数据存储效率和读取速度。文章详细展示了如何使用位单位存储和解析数据，以压缩图像数据为例，提供了一段按位解析的C++代码，用于从二进制缓冲区中解析不同数据类型。通过这种方法，可以有效地减小数据占用的空间，从而改善查询性能。

摘要由CSDN通过智能技术生成

在项目中用到了基于数据库的大数据量存取时，我们要考虑的是数据读取速度，及数据存储大小，往往数据存储量大的话，数据读取速度也会随之降低，所以我们降低数据存储大小的方法，一是，使用位单位来存储数据，尽量压缩数据大小；二是，在将数据量控制在最小后，数据依旧大，那么我们需要使用压缩算法进行压缩；
在这次项目中我们使用Redis存储数据，使用一个key存储了张图像（二维数组），然而redis数据量越大，在查询的时候速度越慢，所以我们要将数据尽量压缩，直接方式是存储为二进制，但是二进制的方式不存在空间浪费，那么我们需要再按不同数据，按不同的位数存储，尽量节省空间。按位解析的代码如下：

bool ReadOneBit(char *buff,int buffSize,int nStart,int &nEnd,unsigned char &retByte)
{
	int index = nStart / 8;
	if (index >= buffSize)
		return false;
	unsigned char btData= buff[nStart / 8];
	btData = btData << nStart % 8;
	retByte = btData >> 7;
	nEnd = nStart + 1;
	return true;
}

template<typename T>
bool ParseFromBuff(char *buff, int buffSize, int nStart,int len,int &nEnd,T &retData)
{
	int lenT = len -1;
	retData = 0;
	if (len > sizeof(T) * 8)
		return false;

	unsigned char btData;
	T tData;
	while (len--)
	{
		bool ret = ReadOneBit(buff, buffSize,nStart,nStart,btData);
		if (!ret)
			return false;
		tData = ((T)btData) << (lenT -len);
		retData |= tData;
	}
	nEnd = nStart;
	return true;
}

调用方法如下：

char *buff = const_cast<char *>(val.c_str());
int index = 0;

//性别
if (!ParseFromBuff(buff, val.size(), index, 1, index, person.male))	
	return false;
//年龄
if (!ParseFromBuff(buff, val.size(), index, 8, index, person.age))	
	return false;
//社会角色
if (!ParseFromBuff(buff, val.size(), index, 3, index, person.sRole)) 
	return false;
//家庭角色
if (!ParseFromBuff(buff, val.size(), index, 2, index, person.fRole)) 
	return false;
//解析时间序列长度
int timeNum = 0;
if (!ParseFromBuff(buff, val.size(), index, 8, index, timeNum))	
	return false;