基于libsvm的手写字体识别

最新推荐文章于 2024-10-10 17:33:11 发布

lockelk

最新推荐文章于 2024-10-10 17:33:11 发布

阅读量2.2k

点赞数

分类专栏： SVM 文章标签： classification matlab vector 测试 character function

SVM 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

基于libsvm的手写字体识别

——30cases与40cases&25cases“联谊”第三弹

By faruto

2010/6/2

“联谊”案例：30cases第12、13章（libsvm分类相关），25cases案例18——9.3.5（用matlab自带的svm实现手写字体识别），40cases案例39（用贝叶斯判别实现手写字体识别）

现用libsvm来实现手写字体识别，测试图片用的亦是25cases和40cases中的那手写字体的训练样本和测试样本。主体程序思想为25cases中的代码过程，改进之处为利用libsvm加强工具箱利用GA（或者gridsearch）来实现参数寻优，采用的核函数为RBF核函数。O(∩_∩)O~

最终测试集合的分类效果是：

Accuracy = 93.3333% (28/30) (classification) 即只有两个被错分

Rocwoods测试集合的效果是90%(27/30) 即只有三个被错分

谢老师测试集合的效果是93.3333% (28/30) (classification) 即只有两个被错分

由于训练集和测试集数目都比较小，以上的结果都是可以接受的。

我尝试调整参数将准确率再提高一些，最终作罢，估计在前期的图片预处理上下功夫，才能达到完全的测试集识别。O(∩_∩)O~

附: MATLAB自带的svm实现函数与libsvm差别小议：

1 MATLAB自带的svm实现函数仅有的模型是C-SVC(C-support vector classification)；而libsvm工具箱有C-SVC(C-support vector classification),nu-SVC(nu-support vector classification),one-class SVM(distribution estimation),epsilon-SVR(epsilon-support vector regression),nu-SVR(nu-support vector regression)等多种模型可供使用。

2 MATLAB自带的svm实现函数仅支持分类问题，不支持回归问题；而libsvm不仅支持分类问题，亦支持回归问题。

3 MATLAB自带的svm实现函数仅支持二分类问题，多分类问题需按照多分类的相应算法编程实现；而libsvm采用1v1算法支持多分类。

4 MATLAB自带的svm实现函数采用RBF核函数时无法调节核函数的参数gamma，貌似仅能用默认的；而libsvm可以进行该参数的调节。

5 libsvm中的二次规划问题的解决算法是SMO；而MATLAB自带的svm实现函数中二次规划问题的解法有三种可以选择：经典二次方法；SMO；最小二乘。（这个是我目前发现的MATLAB自带的svm实现函数唯一的优点~）

在以上的一些对比下，我个人建议目前svm的实现还是使用libsvm（这个应该是目前最好用的svm工具箱），当然MATLAB自带的svm实现函数对于简单问题也可使用，MATLAB自带的svm实现函数可能会在更加新的版本里面进行完善，我也曾尝试用MATLAB自带的svm实现函数来进行重新封装实现libsvm中的所有功能但工作量有些大~

测试代码：

[code]

function CharacterRecognitionLibsvm

% Character Recognition based on libsvm

% by faruto

% Email:patrick.lee@foxmail.com

% QQ:516667408

% http://blog.sina.com.cn/faruto

% last modified 2010.06.02

% Super Moderator @ www.ilovematlab.cn

tic;

close all;

clear;

clc;

format compact;

%% 载入训练数据

[FileName,PathName,FilterIndex] = uigetfile( ...

{'*.jpg';'*.bmp'},'请导入训练图片','*.jpg','MultiSelect','on');

if ~FilterIndex

return;

end

num_train = length(FileName);

TrainData = zeros(num_train,16*16);

TrainLabel = zeros(num_train,1);

for k = 1:num_train

pic = imread([PathName,FileName{k}]);

pic = pic_preprocess(pic);

TrainData(k,:) = double(pic(:)');

TrainLabel(k) = str2double(FileName{k}(4));

end

%% 建立支持向量机

% [bestCVaccuracy,bestc,bestg] = ...

% SVMcgForClass(TrainLabel,TrainData,-8,8,-8,8,10,0.8,0.8,4.5)

ga_option.maxgen = 100;

ga_option.sizepop = 20;

ga_option.cbound = [0,100];

ga_option.gbound = [0,100];

ga_option.v = 10;

ga_option.ggap = 0.9;

[bestCVaccuracy,bestc,bestg] = ...

gaSVMcgForClass(TrainLabel,TrainData,ga_option)

cmd = ['-c ',num2str(bestc),' -g ',num2str(bestg)];

model = svmtrain(TrainLabel, TrainData, cmd);

preTrainLabel = svmpredict(TrainLabel, TrainData, model);

%% 载入测试样本

[FileName,PathName,FilterIndex] = uigetfile( ...

{'*.jpg';'*.bmp'},'请导入测试图片','*.bmp','MultiSelect','on');

if ~FilterIndex

return;

end

num_train = length(FileName);

TestData = zeros(num_train,16*16);

TestLabel = zeros(num_train,1);

for k = 1:num_train

pic = imread([PathName,FileName{k}]);

pic = pic_preprocess(pic);

TestData(k,:) = double(pic(:)');

TestLabel(k) = str2double(FileName{k}(4));

end

%% 对测试样本进行分类

preTestLabel = svmpredict(TestLabel, TestData, model);

%% sub function of pre-processing pic

function pic_preprocess = pic_preprocess(pic)

pic = 255-pic;

pic = im2bw(pic,0.4);

[y,x] = find(pic == 1);

pic_preprocess = pic(min(y):max(y), min(x):max(x));

pic_preprocess = imresize(pic_preprocess,[16,16]);

toc;

[/code]

测试结果：

[code]

bestCVaccuracy =

bestc =

3.4933

bestg =

9.1004

Accuracy = 100% (50/50) (classification)

Accuracy = 93.3333% (28/30) (classification)

[/code]

===========================

K>> TestLabel'

ans =

Columns 1 through 6

0 0 0 1 1 1

Columns 7 through 12

2 2 2 3 3 3

Columns 13 through 18

4 4 4 5 5 5

Columns 19 through 24

6 6 6 7 7 7

Columns 25 through 30

8 8 8 9 9 9

K>> preTestLabel'

ans =

Columns 1 through 6

0 0 0 1 1 7

Columns 7 through 12

2 2 2 3 3 3

Columns 13 through 18

4 4 4 5 5 5

Columns 19 through 24

6 6 6 7 7 7

Columns 25 through 30

8 8 8 7 9 9

GA参数寻优化结果图：

基于libsvm的手写字体识别