caffe下的mnist训练与手写体数字图片测试

于 2020-01-18 09:56:17 发布
阅读量296 收藏
点赞数
分类专栏： 学 神经网络学习 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alansss/article/details/104027146
版权
学 同时被 3 个专栏收录
18 篇文章 0 订阅
订阅专栏
神经网络学习
8 篇文章 0 订阅
订阅专栏
caffe
4 篇文章 0 订阅
订阅专栏

为了熟悉一下caffe的网络结构的配置、训练和测试采用mnist来进行学习。
mnist的训练网络也是caffe自带的一个example，只是需要自己下载mnist的数据。具体步骤如下：

（1）安装好caffe，具体过程可以参考其他教程。

（2）准备数据

进入caffe的根目录，大部分的模型网络结构、配置文件等都是caffe自带的，在exmamples/mnist下，一部分在data/mnist下。
运行：

cd $CAFFE_ROOT#切换到caffe的根目录
./data/mnist/get_mnist.sh#下载数据
./examples/mnist/create_mnist.sh#转换为lmdb格式

然后就下载好mnist数据了。实际操作我是将之前下好的数据放到mnist文件夹下，直接进行lmdb格式转换的。

mnist数据
转换后的lmdb数据

（3）训练

新建或找到lenet网络结构文件：$CAFFE_ROOT/examples/mnist/lenet_train_test.prototxt
其中的source：也即lmdb格式数据的路径，需要按照实际来修改

name: "LeNet"
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_test_lmdb"
    batch_size: 100
    backend: LMDB
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 20
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "pool1"
  top: "conv2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 50
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "ip1"
  type: "InnerProduct"
  bottom: "pool2"
  top: "ip1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 500
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "ip1"
  top: "ip1"
}
layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "ip1"
  top: "ip2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10 #输出种类的个数
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip2"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST  #验证时的结果准确率
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss" #训练时的损失函数
  bottom: "ip2"
  bottom: "label"
  top: "loss"
}

新建或找到lenet的训练配置文件：$CAFFE_ROOT/examples/mnist/lenet_solver.prototxt
其中的网络模型net：路径，和网络权重snapshot_prefix：需要修改

# The train/test net protocol buffer definition
net: "examples/mnist/lenet_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 10000
# snapshot intermediate results
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
# solver mode: CPU or GPU
solver_mode: GPU

然后新建或找到train_lenet.sh，其中的内容：

#!/usr/bin/env sh
set -e

./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt $@

并进行训练：

cd $CAFFE_ROOT
./examples/mnist/train_lenet.sh

待训练好后，新建或找到test_lenet.sh，其中的内容：

#!/usr/bin/env sh
set -e

./build/tools/caffe.bin test \
--model=examples/mnist/lenet_train_test.prototxt \
--weights=examples/mnist/weights/lenet_iter_5000.caffemodel \
--iterations=100

进行测试：

./examples/mnist/test_lenet.sh

以上都是对mnist数据集中的数据进行训练和测试，只能看到一些结果，并未看到其中的过程，因此下面采用图片进行测试。

(4) 测试数字图片

准备配置文件deploy.prototxt:
将lenet_train_test.prototxt的头、尾部进行修改，得到配置文件deploy.prototxt:

Lenet_train_test头部 ：

name: "LeNet"
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_test_lmdb"
    batch_size: 100
    backend: LMDB
  }
}

改为Deploy头部 ：

name:"Lenet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape: {
      dim:1 #batch_size
      dim:1 # rgb 3,gray 1
      dim:28
      dim:28
    }
  }
}

Lenet_train_test的尾部

layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip2"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST  #验证时的结果准确率
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss" #训练时的损失函数
  bottom: "ip2"
  bottom: "label"
  top: "loss"
}

改为Deploy尾部

layer {
  name: "prob"
  type: "Softmax"
  bottom: "ip2"
  top: "prob"
}

去掉了label层，因为测试时不需要实际的类别。
得到完整的deploy.prototxt如下：

name:"Lenet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape: {
      dim:1 #batch_size
      dim:1 # rgb 3,gray 1
      dim:28
      dim:28
    }
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 20
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "pool1"
  top: "conv2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 50
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "ip1"
  type: "InnerProduct"
  bottom: "pool2"
  top: "ip1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 500
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "ip1"
  top: "ip1"
}
layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "ip1"
  top: "ip2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "prob"
  type: "Softmax"
  bottom: "ip2"
  #bottom: "label"
  top: "prob"
}

测试图片如下，背景为黑色，
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
新建测试函数mnist_detect.py：

#encoding=utf8
import sys
import numpy as np
import cv2 
sys.path.insert(0,'/$caffe-root/python')
import caffe

MEAN = 128
SCALE = 0.00390624 # 1/256
#imgPath = sys.argv[1]
imgPath = '/$caffe-root/examples/mnist_2/test/bmp/6.jpg' #测试图片路径
caffe.set_mode_gpu()
caffe.set_device(0)
net = caffe.Net('/$caffe-root/examples/mnist_2/deploy.prototxt','/$caffe-root/examples/mnist_2/weights/lenet_iter_5000.caffemodel',caffe.TEST)  #配置文件和权重文件路径
net.blobs['data'].reshape(1,1,28,28)

img0 = cv2.imread(imgPath,cv2.IMREAD_GRAYSCALE)
img1 = cv2.resize(img0,(28,28))   #图片缩放到28×28
image = img1.astype(np.float) - MEAN
print(image.shape)
image *= SCALE
#cv2.imwrite('rewrite.jpg',image)#image/SCALE+MEAN)
net.blobs['data'].data[...]=image
output = net.forward()
#print(output)
pred_label = np.argmax(output['prob'][0])   #预测结果
print('\nPredicted digit for {} is {}'.format(imgPath,pred_label))

参考

windows下使用caffe识别mnist图片，csdn：wuzebiao2016
Caffe-mnist别手写数字，cnblog：北海盗
关于测试自己的单张图片所需要的lenet.prototxt(deploy）文件，csdn:kele_imon
caffe中mnist中 lenet_train_test.prototxt和lenet.prototxt（deploy文件）区别，csdn，redfivehit
等等

后续还要再做一下mnist数据解析的工作，把其中的图片和识别结果一个个对比，直观的看一看识别结果，再尝试一下如何提高测试其他手写数字图片的识别率的问题。

alansss
关注
专栏目录
caffe lstm训练mnist手写数字
阳光玻璃杯
09-20 1398
我们可以把深度学习能做的事情分为两类：时间无关的事情和时间相关的事情。时间无关的话，比如人脸识别，给神经网络一张照片，神经网络就能告诉你这是谁，这是和时间无关的。时间相关的话，比如，我要知道一段视频里的人实在吃饭还是在打哈欠，这个可能通过一张照片是无法判别的，但是通过多张连续的图片，构成一段视频，我们就可以判别这个人是在打哈欠还是在吃饭了。 可是，手写数字命名是一张张无时间关系的静态图片啊？我们怎...
手写数字测试图片.zip
09-03
手写数字0-9图片，用于深度学习入门实践项目mnist,训练完模型之后，可用训练的模型预测本图片，尺寸为28*28，灰度图片，有0-910个数字。
mnist数据集训练结果测试用图片,手写数字0~9
07-24
自制的类似mnist数据集中手写图片数据的测试用小数据集,内含0~9十张手写数字图片,配合中国大学MOOCtensorflow笔记第六章使用.
从一到二：利用mnist训练集生成的caffemodel对mnist测试集与自己手写的数字进行测试...
weixin_34033624的博客
09-11 122
通过从零到一的教程，我们已经得到了通过mnist训练集生成的caffemodel，主要包含下面四个文件： 接下来就可以利用模型进行测试了。关于测试方法按照上篇教程还是选择bat文件，当然python、matlab更为方便，比如可以迅速把识别错误的图片显示出来。 一、均值文件mean.binaryproto 在进行分类之前首先需要产生所有图片的平均值图片，真正分...
MNIST手写体数字训练/测试数据集(图片)下载及Python分割预处理代码
03-24
1、MNIST手写体数字训练/测试数据集(图片格式) 2、Python分割出单个数字的预处理代码 参考博文： https://blog.csdn.net/Jkwwwwwwwwww/article/details/65628235
利用mnist训练集生成的caffemodel对mnist测试集与自己手写的数字进行测试
weixin_30411997的博客
01-04 146
从一到二：利用mnist训练集生成的caffemodel对mnist测试集与自己手写的数字进行测试 通过从零到一的教程，我们已经得到了通过mnist训练集生成的caffemodel，主要包含下面四个文件： 接下来就可以利用模型进行测试了。关于测试方法按照上篇教程还是选择bat文件，当然python、matlab更为方便，比如可以迅速把识别错误的图片显示出来。 一、均值文件m...
lenet_iter_10000.zip_caffe_caffe mnist_caffe 识别_lenet mnist_mnis
09-24
总的来说，这个压缩包提供的模型是一个经过10000次迭代训练的LeNet模型，适用于Windows系统下的Caffe环境，专门用于手写数字识别，基于广泛使用的MNIST数据集。使用者可以利用这个模型快速部署手写数字识别服务，而...
深度学习caffe–手写字体识别例程（二）—— get_mnist.sh脚本文件详解
01-06
在《深度学习caffe–手写字体识别例程（一）》中，我们进行了手写字体识别例程的演练，其中第一步就是用get_mnist.sh脚本文件来获取mnist数据集，这篇文章我们来研究一下这个脚本文件到底做了什么。我们在caffe根...
深度学习caffe–手写字体识别例程（五）—— convert_mnist_data.cpp文件详解
01-06
我们在《深度学习caffe–手写字体识别例程（四）》中，用到了convert_mnist_data.bin文件进行数据集格式的转换，命令如下 $BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \ $DATA/train-labels-idx...
Caffe MNIST训练好的lenet模型
12-03
Caffe MNIST例子中训练好的LeNet模型，手写体数字识别准确率99%。
MNIST图片库
01-09
MNIST数据库，其中训练60000张，测试10000张。数据文件来自http://yann.lecun.com/exdb/mnist/ 已经提取出图片文件根据0-9分别存放。
MNIST手写数字.bmp图片格式数据集
11-17
mnist数据集，已将原始数据修改为图片格式保存，训练集60000张.bmp格式图片，测试集10000张.bmp图片，需要处理代码或者labels标签读取的联系
手写数字识别程序，模型和测试图片
11-09
有训练代码和测试代码和我已经训练好的模型，还有几张我的测试图片 详情见我的博客：https://blog.csdn.net/qq_38269418/article/details/78991649
MNIST数据集重生！测试图片增加到6万张，LeCun点赞
01-07
晓查 发自 凹非寺量子位 出品 | 公众号 QbitAI MNIST数据集是图像分类领域的基准测试之一，用于0~9手写数字图像分类任务，包含6万张训练图像和1万张测试图像。它已经有20多年的历史了。 但是官方测试集因为测试集样本太少，MNIST通常被认为不能提供有意义的置信区间。 现在，来自纽约大学两位研究人员给MNIST测试集再增加5万张图片，叫做QMNIST，获得校友、也是MNIST发起者LeCun转发。 LeCun给予了这个数据集很高的评价，认为它“重生、恢复、扩展”了MNIST。 数据集内容 QMNIST扩展数据集包含以下一些文件。 其中，前两个gz压缩文件和标准MNIST数据文
mnist图片数据集 png格式
03-02
数据分成了训练集（60000张共10类）和测试集（共10000张10类），每个类别放在一个单独的文件夹里。并且将所有的图片，都生成了txt列表清单（train.txt和test.txt)。
caffe从零开始学习3——mnist例程测试自定义数字图片
夜风的博客
08-24 560
测试一张自定义的手写体数字 上面已经进行了mnist数据的训练，也对测试数据进行的测试，准确率在99%左右。那么如果我们想自己测一下一张字节手写的数字，看看他学习的是否准确，改怎么利用caffemodel权值文件呢。 下面就来测试一张自定义的手写体数字。 利用模型lenet_iter_10000.caffemodel测试单张手写体数字所需要的文件： （1）待测试图片（自己画的也行，网络上下的也行）...
Tensorflow笔记__使用mnist数据集并测试自己的手写图片
Pichairen
06-28 3229
内容源于曹建老师的tensorflow笔记课程 源码链接:https://github.com/cj0012/AI-Practice-Tensorflow-Notes 测试图片下载:https://github.com/cj0012/AI-Practice-Tensorflow-Notes/blob/master/num.zip 主要包含四个文件,主要是mnist_forward.py,mn...
Caffe 学习系列（7）：mnist 图片数据实例
JACK_YOUNG007的博客
04-22 353
引言 深度学习的第一个实例一般都是 mnist数据集，只要这个例子完全弄懂了，其他的就可以举一反三。由于篇幅问题，本文不介绍配置文件里面每一个参数的具体含义。如有需要参看之前的博文或者自行搜索学习。 一、数据准备 官网提供的 mnist 数据并不是图片，但是我们以后做的实际项目大多数都涉及到图片。在此提供一个百度云盘，里面存着mnist 图片数据。mnist图片数据下载链接 数据分成了训练...
Caffe深度学习框架：Mnist手写体数据处理与训练详解
在本文档中，我们将深入探讨如何在Caffe神经网络框架下实现Mnist手写体识别的训练和测试。Caffe作为一款流行的深度学习框架，它与传统的OpenCV库有显著不同，OpenCV主要依赖于API调用，而Caffe则更强调与底层运算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值