caffe数据文件lmdb训练神器digits

最新推荐文章于 2024-03-21 20:45:00 发布

hi我是大嘴巴

最新推荐文章于 2024-03-21 20:45:00 发布

阅读量701

点赞数

denny的学习专栏

徐其华

随笔- 145 文章- 0 评论- 1085

Caffe学习系列(21)：caffe图形化操作工具digits的安装与运行

经过前面一系列的学习，我们基本上学会了如何在linux下运行caffe程序，也学会了如何用python接口进行数据及参数的可视化。

如果还没有学会的，请自行细细阅读： caffe学习系列：http://www.cnblogs.com/denny402/tag/caffe/

也许有人会觉得比较复杂。确实，对于一个使用惯了windows视窗操作的用户来说，各种命令就要了人命，甚至会非常抵触命令操作。没有学过python，要自己去用python编程实现可视化，也是非常头痛的事情。幸好现在有了nvidia digits这款工具，这些问题都可以解决了。

nvidia为了卖出更多的显卡，对深度学习的偏爱真是亮瞎了狗眼。除了cudnn, 又出了digits，真是希望小学生也能学会深度学习，然后去买他们的卡。

nvidia digits是一款web应用工具，在网页上对caffe进行图形化操作和可视化，用于caffe初学者来说，帮助非常大。

不过有点遗憾的是，据nvidia官方文档称，digits最佳支持系统是ubuntu 14.04，其它的系统效果如何，就不得而知了。

一、安装digits 3.0

digits是运行在cuda和caffe基础上的，所以要先配置好cuda+caffe那是毫无疑问的了。还不会配置的，请参考：Caffe学习系列(1)：安装配置ubuntu14.04+cuda7.5+caffe+cudnn

打开一个终端，依次运行下列命令：

cd

sudo -s

进入当前用户根目录，并切换到超级用户（符号由$变成#，不用每句都输sudo)

CUDA_REPO_PKG=cuda-repo-ubuntu1404_7.5-18_amd64.deb &&
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/$CUDA_REPO_PKG &&
sudo dpkg -i $CUDA_REPO_PKG

接着,

ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb &&
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/$ML_REPO_PKG &&
sudo dpkg -i $ML_REPO_PKG

apt-get update

apt-get install digits

ok,保持网络通畅，慢慢安装吧！

二、运行digits

默认情况下，digits的安装目录为 /usr/share/digits

安装完成后，打开浏览器，地址栏输入 http://localhost/ 就可以了，就是这么简单。

更强悍的是：在局域内的其它机子上，也可以用浏览器访问，只是localhost变成了主机 ip地址。很多人喜欢在windows系统上远程连接linux来执行caffe。现在好了，不需要远程连接了，只需要访问一个网站就可以了。。。还有谁！！！！

三、运行mnist实例

现在来运行一个实例：mnist(名符其实的helloworld)

原始数据需要的是图片，但网上提供的mnist数据并不是图片格式的数据，因此我们需要将它转换成图片才能运行。

digits提供了一个脚本文件，用于下载mnist, cifar10 和cifar100 三类数据，并转换成png格式图片。文件路径为：

/usr/share/digits/tools/download_data/main.py

我们先在当前用户的根目录下，新建一个mnist文件夹用来保存mnist图片。

# cd 
# mkdir mnist

然后执行脚本

# /usr/share/digits/tools/download_data/main.py mnist ~/mnist

main.py带两个参数，第一个为数据集名称（可设置为mnist, cifar10或cifar100)，第二个为输出路径（~/mnist)

执行成功后，会在mnist文件夹下，生成两个文件夹（train文件夹和test文件夹），每个文件夹下面就是我们需要的图片(10类分别放在10个子文件夹内），同时还生成了对应在图片列表文件train.txt和test.txt

接下来，在浏览器上运行digits, 点击左边Dataset模块的"Image"按钮选择“classification", 创建一个dataset

在这个页面的左边，可以设置图片是彩色图片还是灰度图片，如果提供的原始图片大小不一致，还可用Resize Transformation功能转换成一致大小。从页面中间可以看出，系统默认将训练图片中的25%取出来作为验证集（for validation)。

如果想把用来测试的图片，也生成lmdb, 则把“ separate test image folder" 这个选项选上。

全部设置好后，点击"create" 按钮，开始生成lmdb数据。

注意左上角的Job Directory(工作目录），生成的lmdb文件就放在这个目录下面，大家最好打开这个目录去看看，看一下生成了些什么文件，了解一下运行原理。

在这个界面，我们还可以可视化查看训练和测试的图片，如下图：

train.txt里面存放的是所有训练图片的列表清单，柱状图清晰地显示了10类样本各自的数量。点击" Explorer the db” 即可查看图片。

最后，点击最左上角“ DIGITS" 链接回到网站根目录。

由于图片太多，因此本文很长，所以在此截断一下，后续。。

分类: caffe

标签: caffe

好文要顶关注我收藏该文

denny402
关注 - 3
粉丝 - 1041

+加关注

« 上一篇：python数字图像处理（14）：高级滤波
 » 下一篇：Caffe学习系列(22)：caffe图形化操作工具digits运行实例

posted @ 2016-01-16 19:22 denny402 阅读(19923) 评论(15) 编辑收藏

#1楼 2016-04-02 11:42 | suoluoshu

前辈你好，我已经安装了caffe和cuda7.5 ，并根据您的提示安装完了cuda-repo-ubuntu1404_7.5-18_amd64.deb，但我下载了nvidia-machine-learning-repo_4.0-2_amd64.deb并安装的时候报错，提醒我这个依赖于cuda-repo-ubuntu1404和cuda-repo-ubuntu1404-7.0-local,说我没有安装，这个不知如何解决？是我版本不对吗？我下载的明明是7.5的，为何提醒要7.0？

支持(0)反对(0)

#2楼 2016-06-27 09:11 | inkling

您好！请问cpu only 模式可以安装吗？

支持(0)反对(0)

#3楼 2016-11-30 18:01 | 卉卉是爱学习的小青年

前辈您好我一直有关注您的博客我安装digist时，下载machine-learning的包显示的是404 然后官网也找不到了该怎么办

支持(1)反对(0)

#4楼 [楼主] 2016-11-30 18:32 | denny402

@ 卉卉是爱学习的小青年
官网的digits版本升级了，下载地址也变了。你在网页中打开http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64，然后下载digits_4.0.0-1_amd64.deb ，然后运行dpkg -i digits_4.0.0-1_amd64.deb就可以了

支持(0)反对(0)

#5楼 2016-12-23 00:32 | flysnow_88

您好！今晚按照您回复卉卉是爱学习的小青年安装digits时报错如下：
dpkg: error processing package digits (--install):
dependency problems - leaving unconfigured
Processing triggers for ureadahead (0.100.0-16) ...
Errors were encountered while processing:
digits

想请问下该怎么办呢？多谢！

支持(1)反对(0)

#6楼 2017-02-22 17:08 | ws666

@ flysnow_88
我也遇到这个问题了，请问你解决了么？

支持(0)反对(0)

#7楼 2017-02-23 15:21 | VIVIAN-Ni

@ws666
ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb 变了，改成ML_REPO_PKG=nvidia-machine-learning-repo-ubuntu1404_4.0-2_amd64.deb就可以了

支持(0)反对(0)

#8楼 2017-03-28 21:27 | EchoAmor

Making manifest for /usr/lib/luarocks/rocks
Warning: This looks like a local rocks tree, but you did not pass --local-tree.
Generating index.html for /usr/lib/luarocks/rocks
Processing triggers for libc-bin (2.19-0ubuntu6.11) ...
Processing triggers for ureadahead (0.100.0-16) ...

please tell me why,I can not use Chinese in the server,sorry

支持(0)反对(0)

#9楼 2017-03-28 21:30 | EchoAmor

Setting up cuda-license-8-0 (8.0.61-1) ...
*** LICENSE AGREEMENT ***
By using this software you agree to fully comply with the terms and
conditions of the EULA (End User License Agreement). The EULA is located
at /usr/local/cuda-8.0/doc/EULA.txt. The EULA can also be found at
http://docs.nvidia.com/cuda/eula/index.html. If you do not agree to the
terms and conditions of the EULA, do not use the software.

支持(0)反对(0)

#10楼 2017-03-28 21:30 | EchoAmor

不好意思博主，服务器里的输入法还没装上，我按照您的教程安装完了，没提示错误，但是我在浏览器输入http://localhost/一直说打不开页面，我才看到终端上最后有一个这样的warning，而且它的cuda好像是8.0的，不知道是不是这个问题？求解答！

支持(0)反对(0)

#11楼 2017-04-01 16:30 | 向前跑带着赤子的骄傲

@ VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors，没有tools什么的请问是怎么回事呢？

支持(2)反对(0)

#12楼 2017-04-05 15:28 | Cche

博主你好，我安装完digits后，训练模型都没有问题，但是测试时，就提示
ERROR:error code-6
WARNING: Logging before InitGoogleLogging() is written to STDERR
F0405 15:03:38.596593 6033 gpu_memory.cpp:152] Check failed:error==cudaSuccess (46 vs.0) all CUDA-capable devices are busy or unavailable ***Check failure stack trace:***
我该怎么解决呢？

支持(0)反对(0)

#13楼 2017-04-27 14:52 | renwu

@向前跑带着赤子的骄傲你好，我也遇到了这个问题，请问你解决了吗？

支持(0)反对(0)

#14楼 2017-07-15 11:34 | Witneess

博主您好，一直按照您的教程做到这一步，非常感谢您的分享。现在我在安装digits_4.0.0-1_amd64.deb的时候提示这个错误，麻烦您帮我看一下：
正准备解包 digits_4.0.0-1_amd64.deb ...
正在将 digits (4.0.0-1) 解包到 (4.0.0-1) 上 ...
dpkg: 依赖关系问题使得 digits 的配置工作不能继续：
digits 依赖于 python-flask (>= 0.10.1)；然而：
未安装软件包 python-flask。
digits 依赖于 python-gevent (>= 1.0)；然而：
未安装软件包 python-gevent。
digits 依赖于 python-flaskext.socketio；然而：
未安装软件包 python-flaskext.socketio。
digits 依赖于 python-flaskext.wtf (>= 0.11)；然而：
未安装软件包 python-flaskext.wtf。
digits 依赖于 python-wtforms (>= 2.0)；然而：
未安装软件包 python-wtforms。
digits 依赖于 python-pydot (>= 1.0.28)；然而：
未安装软件包 python-pydot。
digits 依赖于 python-lmdb (>= 0.87)；然而：
未安装软件包 python-lmdb。
digits 依赖于 python-skimage；然而：
未安装软件包 python-skimage。
digits 依赖于 python-caffe-nv (>= 0.13)；然而：
未安装软件包 python-caffe-nv。
digits 依赖于 caffe-nv (>= 0.13)；然而：
未安装软件包 caffe-nv。
digits 依赖于 gunicorn；然
dpkg: 处理软件包 digits (--install)时出错：
依赖关系问题 - 仍未被配置
正在处理用于 ureadahead (0.100.0-16) 的触发器 ...
在处理时有错误发生：
digits
-------------------------------------------------------------------------------------
但是我使用conda install gevet/flask等又安装不上
也试过apt-get install flask，但是提示flask又依赖其他的库
请问这种情况该怎么办呢？谢谢您

支持(0)反对(0)

#15楼 2017-08-20 20:38 | 北海盗

@ renwu
@向前跑带着赤子的骄傲
@VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors，没有tools什么的请问是怎么回事呢？

修改下执行命令：
# /usr/share/digits/tools/download_data/main.py mnist ~/mnist
改为
$ python -m digits.download_data mnist ~/mnist
参考:
https://github.com/NVIDIA/DIGITS/blob/digits-5.0/docs/GettingStarted.md

支持(0)反对(0)

刷新评论刷新页面返回顶部

注册用户登录后才能发表评论，请登录或注册，访问网站首页。