基于改进 Sigmoid 卷积神经网络的手写体数字识别
基于改进 Sigmoid 卷积神经网络的手写体数字识别(2021 计算机科学)
资源下载
chap1 模型构建
1)数学神经元结构
xj 为输入信号, f 为传递函数,wi,j 表示与神经元 xj 连接的权值,yi 表示输出值,θ 表示阈值
2)BP神经网络结构
每一轮将训练得到的结果与预想结果进行误差分析,进而修改权值和阈值,一步步得到输出和预想结果一致的模型。
3)模型训练过程:当对图片进行预测时,Softmax Regression 会对每一种类别估算一个概率,并将概率最大的数字作为结果输出
通过对小样本的测试找到最优的卷积核数目
第一层采用RELU函数激活;
第二层采用 Softmax 函数作为分类器,输出每个 label 的概率
基于 CNN+KNN 的算法改进
Fx 是一个可以训练的滤波器,利用 fx 去卷积一个输入的图像,通过 Sigmoid 激活函数,加一个偏置 bx,得到卷积层Cx。Mj 是输入特征图的值
1)梯度下降算法
由于计算量太大,因此调用 next_batch 方法,先在所有的训练数据集中筛选一部分,并随机选取其中一部分训练数据集,将其提供给神经网络的输入层,然后通过反向迭代方法去优化这个神经网络
2)损失函数选用交叉熵:交叉熵越小,就说明
模型的输出越接近正确的结果
3)算法流程
① 定义算法公式,即神经网络前向传播时的计算
② 指定优化器优化 loss
③ 迭代地对数据进行训练
1)计算输出
2)计算loss函数
3)通过loss函数计算梯度
4)通过梯度更新权值
④ 将训练结果导入 KNN 分类器,通过实
验得出最优近邻