跟我上手深度学习: 五分钟尝试第一个深度学习(Caffe)训练和图像分类(详细图文步骤)...

最新推荐文章于 2024-06-12 09:07:04 发布

weixin_33939843

最新推荐文章于 2024-06-12 09:07:04 发布

阅读量321

点赞数

文章标签：人工智能

原文链接：https://my.oschina.net/u/1431433/blog/687393

版权

2019独角兽企业重金招聘Python工程师标准>>>

申请深度学习的开发环境

Supervessel超能云(www.ptopenlab.com)上可以免费申请深度学习的开发环境。用户可以免费注册一个用户帐号，无须任何信用卡信息，就可以申请。

申请了用户帐号后，进入“Supervessel Cloud”申请虚拟机“Apply VM"。如下图：

登陆之后，进入云平台的控制台（dashboard)，选择界面顶部的“More services”，出现"Market Image"的选项，如下图：

进入“Market Image"之后，选择“深度学习”类型下的“GPU Accelerated Caffe Deep Learning Development Environment", 如下图：

点击“Details”，即会弹出对话框，确认要启动一个新的带GPU加速的Caffe深度学习开发环境（容器）。大概过1到2分钟，用户的控制台就可以显示这个新的容器（docker）。在最左边的按钮“More actions"下拉，可以选择“Console“，来进入基于网页的容器登陆环境。或用户可以使用VPN来使用别的ssh终端软件（如putty）进行登陆。关于如何安装和配置VPN，详见以下链接：https://services.ptopenlab.com/mediawiki/index.php/VPN%E7%9A%84%E4%BD%BF%E7%94%A8/en

初次登陆该深度学习容器，系统会强制用户更改用户密码（帐号为opuser，密码查看控制台信息）和root的用户密码（密码查看控制台信息）。至此，准备环境就绪。

深度学习模型训练

在这一部分，我们将以CIFAR10为例子，来给大家介绍如何用Caffe进行最简单的深度学习模型训练。CIFAR10和CIFAR100是很有名并被广泛使用的图像数据集。CIFAR10相对比较简单，是由60000张32X32像素的彩色图片组成，分为10类，每类含6000张图片。这10类图片分别是飞机、车、鸟、猫、鹿、狗、青蛙、马、船和卡车。

我们要做的第一步是下载训练的CIFAR10数据集。在容器中，切换到root权限，执行如下命令：

cd /home/opuser/caffe-master-20150813
./data/cifar10/get_cifar10.sh

get_cifar10.sh就是执行数据集下载的脚本，整个数据集大概100多兆。接着执行：

./examples/cifar10/create_cifar10.sh

create_cifar10.sh是对数据集进行预处理，以便能被Caffe直接处理，并计算数据集的均值。

之后，执行如下命令就可以开始进行模型训练了：

./examples/cifar10/train_quick.sh

在train_quick.sh这个脚本中，主要的输入是 examples/cifar10/cifar10_quick_solver.prototxt 这个文件。这是对这个模型的配置文件，内容如下:

# The train/test net protocol buffer definition
net: "examples/cifar10/cifar10_quick_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.001
momentum: 0.9
weight_decay: 0.004
# The learning rate policy
lr_policy: "fixed"
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 4000
# snapshot intermediate results
snapshot: 4000
snapshot_prefix: "examples/cifar10/cifar10_quick"
# solver mode: CPU or GPU
solver_mode: GPU

该文件定义了深度神经网络的文件 cifar10_quick_train_test.prototxt，迭代次数4000，以及使用GPU进行模型训练等重要参数。

在模型训练的过程中，每迭代100次，会打印一次输出结果。直到最后输出：

Snapshotting to binary proto file examples/cifar10/cifar10_quick_iter_4000.caffemodel
Snapshotting solver state to binary proto fileexamples/cifar10/cifar10_quick_iter_4000.solverstate
Iteration 4000, loss = 0.599427
Iteration 4000, Testing net (#0)
Test net output #0: accuracy = 0.7159
Test net output #1: loss = 0.863218 (* 1 = 0.863218 loss)
Optimization Done.

首先，训练后得到的模型存在文件 cifar10_quick_iter_4000.caffemodel 中，该模型文件将用于后面进行测试和分类应用。solverstate文件比起.caffemodel文件多了模型名称、当前迭代次数等。solverstate是用来恢复训练的，防止意外终止而保存的快照（有点像断点续传的感觉)。

在训练过程，Caffe会根据.prototxt文件的定义，随机选取数据集中的一部分数据进行模型精度测试，所以本次训练所得到的模型精度为 0.7159.

至此，我们第一个模型训练就完成了。