C/C++实现手写数字识别，分别处理 32*32 文本数据集和mnist 28*28 png数据集

绝大多数人都是用python写，俺就喜欢用C/C++一句一句写。代码还未认真整理，写的有点乱，应该还有优化的余地。

程序主要目的：对测试数据集的样本进行预测，计算预测准确率。

数据集：分别使用32*32数据集和28*28数据集（mnist数据集）。前者是txt文本，后者是png图片。

算法：使用最简单的KNN算法。

加快程序执行的主要思路：

1.使用多线程（10个线程）读取0到9数字对应的样本文件；

2.使用多线程（10个线程）对0到9数字对应的样本进行预测；

3.求距离时，使用欧式距离，但是不做开平方运算（开平方运算是多余的，浪费时间）；

4.求K个最近距离邻居（类似于求TOP K），采用C++的push_heap和pop_heap（小根堆）。

对于32*32的数据集，由于样本是txt文件，直接读取txt文件中的0和1，很容易求出样本之间的距离。

对于mnist数据集，因为原始数据是png图片，所以需要做一些预处理：可以使用opencv读取像素数据，转成类似于32*32的txt数据集，方便求距离。另外，方便程序处理，重命名了文件名，文件名分别是0_0.txt，0_1.txt……，转换成txt文件的mnist数据集如下：

简便起见，对样本个数做了一些简化，32*32数据集的训练数据是180*10=1800个，测试数据是80*10=800个，mnist数据集的训练数据是5000*10=5万个，测试数据是800*10=8千个（原始测试样本是1万个，每个数字的测试样本个数不同）。从数据量对比来看，后者是前者的280倍（训练数据集是28倍，测试数据集是10倍），对应的程序运行时间（计算测试样本的预测准确率）后者也是前者的200多倍（排序算法很重要，如果不使用小根堆求TOP K，而是使用传统的整体数据排序，估计运行速度会差很多）。

部分代码如下（代码还未整理，比较乱，暂时只贴主要代码，表明整体思路），具体代码回头整理好了再贴。

#define TrainingDataNum 50000	
#define TestDataNum 8000		
#define FeatureNum 784    //28*28	
#define ClassNum 10
#define FileMaxCol 40    //大于28
#define K 3

//……………………

struct DisAndLabel
{
	int distance;
	int classLabel;
};

bool Cmp(const DisAndLabel& a, const DisAndLabel& b)
{
	return a.distance < b.distance;
}

int FileToTrainingDataArray(int** pTrainingDataFeture, int* pTrainingDataClass, int tid);
int FileToTestDataArray(int** pTestDataFeture, int* pTestDataClass, int tid);
void ClassifyTest(int** pTestDataFeture, int** pTrainingDataFeture, int* pTestDataClass, int* pTrainingDataClass, int tid);

//……………………

int main()
{
	clock_t t1, t2, t3, t4, t5;
	t1 = clock();

	int** pTrainingDataFeture = new int* [TrainingDataNum];
	if (pTrainingDataFeture == NULL)
	{
		exit(-1);
	}

	for (int i = 0; i < TrainingDataNum; i++)
	{
		pTrainingDataFeture[i] = new int[FeatureNum + 1];
		if (pTrainingDataFeture[i] == NULL)
		{
			exit(-1);
		}
	}
	
	//……………………

	t2 = clock();
	double duration = (double(t2) - double(t1)) / CLOCKS_PER_SEC;
	cout << "分配内存：" << duration << "秒" << endl;
	
	//……………………

	thread td[10];

	for (int tid = 0; tid < 10; tid++)
	{
		td[tid] = thread(&FileToArrayThread, pTrainingDataFeture, pTrainingDataClass, pTestDataFeture, pTestDataClass, tid);
	}

	for (int tid = 0; tid < 10; tid++)
	{
		td[tid].join();
	}
	
	//……………………
	
	int errorCountTotal = 0;

	for (int i = 0; i < 10; i++)
	{
		errorCountTotal += errorCount[i];
	}

	cout << "*********************************************************" << endl;
	cout << "测试集测试结果：" << endl;
	cout << "k=" << K << endl;
	cout << "测试集样本个数：" << TestDataNum << endl;
	cout << "预测错误个数：" << errorCountTotal << endl;
	cout << "错误率：" << double(errorCountTotal * 100.0 / TestDataNum) << "%" << endl;
	cout << "正确率：" << 100.0 - double(errorCountTotal * 100.0 / TestDataNum) << "%" << endl;
	//cout << "*********************************************************" << endl;

	t4 = clock();
	duration = (double(t4) - double(t3)) / CLOCKS_PER_SEC;
	cout << "*********************************************************" << endl;
	cout << "8000个样本预测准确率分析：" << duration << "秒" << endl;

	duration = (double(t4) - double(t1)) / CLOCKS_PER_SEC;
	cout << "*********************************************************" << endl;
	cout << "总共用时：" << duration << "秒" << endl;
	
	//……………………
}

运行结果如下：

K=3时，8000个测试样本，预测错误了78个（其实算法没有问题，很多情况是因为测试样本里的数字写的太奇葩了，数字X实在不像数字X），下面把K改为5，准确率提高了一些。

从运行时间看，8000个样本的预测用时是5秒多，如果只预测一个样本，用时大概是5.4秒/8000=0.7毫秒，主要是训练数据集数据有点多（5万个样本）。

下面是32*32数据集的运行结果，由于训练样本和测试样本的数据量比mnist数据集少很多，所以程序运行速度快了200倍，平均每个样本的预测时间大概是0.03秒/800=0.04毫秒。

程序总共用时不到50毫秒（用python写，貌似要10秒左右），比python快了200倍。C语言直接操作内存+高速缓存+宇宙第一IDE的代码优化+多线程，运行速度比python快2个数据级很正常。但是代码量也比python多很多，一般2到3倍，如果python是直接调算法库，比python多10倍以上 -_-。

样本预测错误的具体原因是什么，可以分析K个最近样本的距离值，以数字8（预测错误的重灾区）为例：