LBP特征（5）MB-LBP、SEMB-LBP特征

一、MB-LBP特征

全称为Multiscale Block LBP，来源于论文，中科院的人发明的，在Traincascade级联目标训练检测中的LBP特征使用的就是MB-LBP。 
MB-LBP的原理：

将图像分成一个个小块（Block），每个小块再分为一个个的小区域（类似于HOG中的cell），小区域内的灰度平均值作为当前小区域的灰度值，与周围小区域灰度进行比较形成LBP特征，生成的特征称为MB-LBP，Block大小为3*3，则小区域的大小为1，就是原始的LBP特征，上图的Block大小为9*9，小区域的大小为3*3。 
不同Block提取的MB-LBP特征如图所示：
 

//MB-LBP特征的计算
void getMultiScaleBlockLBPFeature(cv::Mat src, cv::Mat &dst, int scale)
{

	//定义并计算积分图像
	int cellSize = scale / 3;
	int offset = cellSize / 2;
	//Mat cellImage(src.rows - 2 * offset, src.cols - 2 * offset, CV_8UC1);
	//for (int i = offset; i<src.rows - offset; i++)
	//{
	//	for (int j = offset; j<src.cols - offset; j++)
	//	{
	//		int temp = 0;
	//		for (int m = -offset; m<offset + 1; m++)
	//		{
	//			for (int n = -offset; n<offset + 1; n++)
	//			{
	//				temp += src.at<uchar>(i + n, j + m);
	//			}
	//		}
	//		//计算均值
	//		temp /= (cellSize*cellSize);

	//		cellImage.at<uchar>(i - cellSize / 2, j - cellSize / 2) = uchar(temp);
	//	}
	//}

	//划分的cell个数
	int yCnt = (src.rows + cellSize - 1) / cellSize;
	int xCnt = (src.cols + cellSize - 1) / cellSize;
	Mat cellImage(yCnt, xCnt, CV_8UC1);

	for (int i = 0; i<yCnt ; i++)
	{
		for (int j = 0; j<xCnt; j++)
		{
			int temp = 0;
			int cnt = 0;
			for (int m = i*cellSize; m<(i+1)*cellSize; m++)
			{
				for (int n = j*cellSize; n<(j + 1)*cellSize; n++)
				{
					//判断是否超出原始图像边界
					if (m >= src.rows || n >= src.cols)
						continue;

					temp += src.at<uchar>(m, n);
					cnt++;
				}
			}

			//计算均值
			temp /= cnt;

			cellImage.at<uchar>(i, j) = uchar(temp);
		}
	}

	getOriginLBPFeature<uchar>(cellImage, dst);
}

int main()
{
	cv::Mat src = imread("..\\..\\image\\keliamoniz1.jpg", 0);
	cv::Mat dst;

	//getOriginLBPFeature<uchar>(src, dst);

	//getCircularLBPFeatureOptimization<uchar>(src, dst, 1, 8);

	//getRotationInvariantLBPFeature<uchar>(src, dst, 1, 8);

	//getUniformPatternLBPFeature<uchar>(src, dst, 1, 8);

	getMultiScaleBlockLBPFeature(src, dst, 9);

	return 0;
}

说明：参考的是https://blog.csdn.net/quincuntial/article/details/50541815，但是博主写和论文逻辑不符合，按照博主的方法，变成了均值滤波了，结合论文描述重写测试结果如下图： 

  

(a) 原图                                         （b）cellImage                             （c)MB-LBP图 

                                               

(a1) 原图                                         （b1）cellImage                             （c1)MB-LBP图  

 二、SEMB-LBP

作者对得到LBP特征又进行了均值模式编码，通过对得到的特征图求直方图，得到了LBP特征值0-255之间(0-255即直方图中的bin)的特征数量，通过对bin中的数值进行排序，通过权衡，将排序在前63位的特征值看作是等价模式类，其他的为混合模式类，总共64类，作者在论文中称之为SEMB-LBP(Statistically Effective MB-LBP )。类似于等价模式LBP，等价模式的LBP的等价模式类为58种，混合模式类1种，共59种。二者除了等价模式类的数量不同之外，主要区别在于：对等价模式类的定义不同，等价模式LBP是根据0-1的跳变次数定义的，而SEMB-LBP是通过对直方图排序得到的。
 

//求SEMB-LBP
void SEMB_LBPFeature(cv::Mat src, cv::Mat &dst, int scale)
{
	Mat MB_LBPImage;
	//得到MB_LBP特征图
	getMultiScaleBlockLBPFeature(src, MB_LBPImage, scale);
	
	Mat histMat;
	int histSize = 256;
	float range[] = { float(0),float(255) };
	const float* ranges = { range };
	//计算LBP特征值0-255的直方图
	calcHist(&MB_LBPImage, 1, 0, Mat(), histMat, 1, &histSize, &ranges, true, false);
	histMat.reshape(1, 1);
	vector<float> histVector(histMat.rows*histMat.cols);
	uchar table[256];
	memset(table, 64, 256);
	if (histMat.isContinuous())
	{
		//histVector = (int *)(histMat.data);
		//将直方图histMat变为vector向量histVector
		histVector.assign((float*)histMat.datastart, (float*)histMat.dataend);
		vector<float> histVectorCopy(histVector);
		//对histVector进行排序，即对LBP特征值的数量进行排序，降序排列
		sort(histVector.begin(), histVector.end(), greater<float>());
		for (int i = 0; i<63; i++)//取排序前63为的特征值
		{
			for (int j = 0; j<histVectorCopy.size(); j++)
			{
				//j代表特征值的大小
				//histVectorCopy[j]：排序前当前特征值的数量
				//histVector[i]：排序后前63位特征值数量
				if (histVectorCopy[j] == histVector[i])
				{
					//得到类似于Uniform的编码表：特征值j的编码值为i
					table[j] = i;
				}
			}
		}
	}
	dst = MB_LBPImage;
	//根据编码表得到SEMB-LBP
	for (int i = 0; i<dst.rows; i++)
	{
		for (int j = 0; j<dst.cols; j++)
		{
			//dst.at<uchar>(i, j)：代表i，j位置的特征值
			//table[dst.at<uchar>(i, j)]：代表i，j位置的特征值对应的编码值
			dst.at<uchar>(i, j) = table[dst.at<uchar>(i, j)];
		}
	}
}

int main()
{
	cv::Mat src = imread("..\\..\\image\\xx.png", 0);
	cv::Mat dst;

	//getOriginLBPFeature<uchar>(src, dst);

	//getCircularLBPFeatureOptimization<uchar>(src, dst, 1, 8);

	//getRotationInvariantLBPFeature<uchar>(src, dst, 1, 8);

	//getUniformPatternLBPFeature<uchar>(src, dst, 1, 8);

	//getMultiScaleBlockLBPFeature(src, dst, 9);

	SEMB_LBPFeature(src, dst, 9);

	return 0;
}