【手写数字识别】RBM神经网络手写数字识别【含GUI Matlab源码 1109期】

最新推荐文章于 2024-05-07 10:41:23 发布

Matlab武动乾坤

最新推荐文章于 2024-05-07 10:41:23 发布

阅读量879

点赞数 19

分类专栏： Matlab图像处理（进阶版）文章标签： matlab

本文链接：https://blog.csdn.net/KeepingMatlab/article/details/135742695

版权

Matlab图像处理（进阶版）专栏收录该内容

870 篇文章 19 订阅

订阅专栏

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄一、手写数字识别技术简介

1 案例背景
手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写体数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。手写体数字识别的实用性很强，在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景"。
本案例讲述了图像中手写阿拉伯数字的识别过程，对手写数字识别的基于统计的方法进行了简要介绍和分析，并通过开发一个小型的手写体数字识别系统来进行实验。

2 RBM神经网络
2.1 RBM模型结构
玻尔兹曼机是一大类的神经网络模型，但是在实际应用中使用最多的则是RBM。RBM本身模型很简单，只是一个两层的神经网络，因此严格意义上不能算深度学习的范畴。不过深度玻尔兹曼机（Deep Boltzmann Machine，以下简称DBM）可以看做是RBM的推广。理解了RBM再去研究DBM就不难了，因此本文主要关注于RBM。

回到RBM的结构，它是一个个两层的神经网络，如下图所示：
在这里插入图片描述
上面一层神经元组成隐藏层(hidden layer), 用h向量隐藏层神经元的值。下面一层的神经元组成可见层(visible layer),用v向量表示可见层神经元的值。隐藏层和可见层之间是全连接的，这点和DNN类似, 隐藏层神经元之间是独立的，可见层神经元之间也是独立的。连接权重可以用矩阵W表示。和DNN的区别是，RBM不区分前向和反向，可见层的状态可以作用于隐藏层，而隐藏层的状态也可以作用于可见层。隐藏层的偏倚系数是向量b,而可见层的偏倚系数是向量a。

常用的RBM一般是二值的，即不管是隐藏层还是可见层，它们的神经元的取值只为0或者1。本文只讨论二值RBM。

总结下RBM模型结构的结构：主要是权重矩阵W, 偏倚系数向量a和b，隐藏层神经元状态向量h和可见层神经元状态向量v。

2.2 RBM概率分布
RBM是基于基于能量的概率分布模型。怎么理解呢？分两部分理解，第一部分是能量函数，第二部分是基于能量函数的概率分布函数。

对于给定的状态向量h和v，则RBM当前的能量函数可以表示为：
在这里插入图片描述
有了能量函数，则我们可以定义RBM的状态为给定v,h的概率分布为：

其中Z为归一化因子，类似于softmax中的归一化因子，表达式为：

有了概率分布，我们现在来看条件分布P(h|v):

其中Z′为新的归一化系数，表达式为：
在这里插入图片描述
同样的方式，我们也可以求出P(v|h),这里就不再列出了。
有了条件概率分布，现在我们来看看RBM的激活函数，提到神经网络，我们都绕不开激活函数，但是上面我们并没有提到。由于使用的是能量概率模型，RBM的基于条件分布的激活函数是很容易推导出来的。我们以P(hj=1|v)为例推导如下。
在这里插入图片描述
从上面可以看出， RBM里从可见层到隐藏层用的其实就是sigmoid激活函数。同样的方法，我们也可以得到隐藏层到可见层用的也是sigmoid激活函数。即：

2.3 RBM模型的损失函数与优化
RBM模型的关键就是求出我们模型中的参数W,a,b。如果求出呢？对于训练集的m个样本，RBM一般采用对数损失函数，即期望最小化下式：
在这里插入图片描述
对于优化过程，我们是首先想到的当然是梯度下降法来迭代求出W,a,b。我们首先来看单个样本的梯度计算, 单个样本的损失函数为：−ln(P(V)), 我们先看看−ln(P(V))具体的内容：

注意，这里面V表示的是某个特定训练样本，而v指的是任意一个样本。

我们以ai的梯度计算为例：
在这里插入图片描述
其中用到了:

同样的方法，可以得到W,b的梯度。这里就不推导了，直接给出结果：

虽然梯度下降法可以从理论上解决RBM的优化，但是在实际应用中，由于概率分布的计算量大，因为概率分布有2^nv+nh种情况, 所以往往不直接按上面的梯度公式去求所有样本的梯度和，而是用基于MCMC的方法来模拟计算求解每个样本的梯度损失再求梯度和，常用的方法是基于Gibbs采样的对比散度方法来求解，对于对比散度方法，由于需要MCMC的知识，这里就不展开了。

⛄二、部分源代码

function varargout = core_Test_gui2(varargin)
% CORE_TEST_GUI2 MATLAB code for core_Test_gui2.fig
% CORE_TEST_GUI2, by itself, creates a new CORE_TEST_GUI2 or raises the existing
% singleton*.
%
% H = CORE_TEST_GUI2 returns the handle to a new CORE_TEST_GUI2 or the handle to
% the existing singleton*.
%
% CORE_TEST_GUI2(‘CALLBACK’,hObject,eventData,handles,…) calls the local
% function named CALLBACK in CORE_TEST_GUI2.M with the given input arguments.
%
% CORE_TEST_GUI2(‘Property’,‘Value’,…) creates a new CORE_TEST_GUI2 or raises the
% existing singleton*. Starting from the left, property value pairs are
% applied to the GUI before core_Test_gui2_OpeningFcn gets called. An
% unrecognized property name or invalid value makes property application
% stop. All inputs are passed to core_Test_gui2_OpeningFcn via varargin.
%
% *See GUI Options on GUIDE’s Tools menu. Choose “GUI allows only one
% instance to run (singleton)”.
%
% See also: GUIDE, GUIDATA, GUIHANDLES

% Edit the above text to modify the response to help core_Test_gui2

% Last Modified by GUIDE v2.5 17-Apr-2021 07:50:14

% Begin initialization code - DO NOT EDIT
gui_Singleton = 1;
gui_State = struct(‘gui_Name’, mfilename, …
‘gui_Singleton’, gui_Singleton, …
‘gui_OpeningFcn’, @core_Test_gui2_OpeningFcn, …
‘gui_OutputFcn’, @core_Test_gui2_OutputFcn, …
‘gui_LayoutFcn’, [] , …
‘gui_Callback’, []);
if nargin && ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
end

if nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT

% — Executes just before core_Test_gui2 is made visible.
function core_Test_gui2_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% varargin command line arguments to core_Test_gui2 (see VARARGIN)

% Choose default command line output for core_Test_gui2
handles.output = hObject;

% Update handles structure
guidata(hObject, handles);

% UIWAIT makes core_Test_gui2 wait for user response (see UIRESUME)
% uiwait(handles.figure1);

% — Outputs from this function are returned to the command line.
function varargout = core_Test_gui2_OutputFcn(hObject, eventdata, handles)
% varargout cell array for returning output args (see VARARGOUT);
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)

% Get default command line output from handles structure
varargout{1} = handles.output;

function result_Callback(hObject, eventdata, handles)
% hObject handle to result (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)

% Hints: get(hObject,‘String’) returns contents of result as text
% str2double(get(hObject,‘String’)) returns contents of result as a double

% — Executes during object creation, after setting all properties.
function result_CreateFcn(hObject, eventdata, handles)
% hObject handle to result (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles empty - handles not created until after all CreateFcns called

% Hint: edit controls usually have a white background on Windows.
% See ISPC and COMPUTER.
if ispc && isequal(get(hObject,‘BackgroundColor’), get(0,‘defaultUicontrolBackgroundColor’))
set(hObject,‘BackgroundColor’,‘white’);
end

% — Executes on button press in classify.
function classify_Callback(hObject, eventdata, handles)
% hObject handle to classify (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
data = handles.data;
data_new=[data data];

load linear_classify_weights2;% w1为(22222+1)*256,w_class为(256+1)*10

N=1; %每次只有1幅图像测试
%下面的计算方式通过矩阵拼凑，把偏置的计算也融入矩阵中
dataprobs = [data_new ones(N,1)]; %融入偏置后dataprobs为1*(22222+1)
w1probs = (dataprobsw1)>0; %未融入偏置时w1probs为1256
w1probs = [w1probs ones(N,1)];%融入偏置后，w1probs为1*(256+1)
targetout = exp(w1probsw_class);%输出层为010

%将输出层输出100*10，除以每行的总和以求得归一化比值
targetout = targetout./repmat(sum(targetout,2),1,10);

%比较每行中的最大产生10*1的列向量，I每行最大值，J每行最大值序号，
%代表识别的数字结果，1-10（分别代表数字0-9）
[I J]=max(targetout,[],2);

⛄三、运行结果

在这里插入图片描述

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 蔡利梅.MATLAB图像处理——理论、算法与实例分析[M].清华大学出版社，2020.
[2]杨丹,赵海滨,龙哲.MATLAB图像处理实例详解[M].清华大学出版社，2013.
[3]周品.MATLAB图像处理与图形用户界面设计[M].清华大学出版社，2013.
[4]刘成龙.精通MATLAB图像处理[M].清华大学出版社，2015.

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合