关闭

【机器学习PAI实践十】深度学习Caffe框架实现图像分类的模型训练

标签: 深度学习机器学习
1981人阅读 评论(0) 收藏 举报
分类:

背景

我们在之前的文章中介绍过如何通过PAI内置的TensorFlow框架实验基于Cifar10的图像分类,文章链接:https://yq.aliyun.com/articles/72841。使用Tensorflow做深度学习做深度学习的网络搭建和训练需要通过PYTHON代码才能使用,对于不太会写代码的同学还是有一定的使用门槛的。本文将介绍另一个深度学习框架Caffe,通过Caffe只需要填写一些配置文件就可以实现图像分类的模型训练。
关于PAI的深度学习功能开通,请务必提前阅读https://help.aliyun.com/document_detail/49571.html
文末提供了相关下载链接。

数据介绍

本文使用的数据是开源数据集cifar10,这份数据是一份对包含6万张像素为32*32的彩色图片,这6万张图片被分成10个类别,分别是飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车。数据集截图:
https://zos.alipayobjects.com/rmsportal/DcsApBuhSJyvCbuXdEra.png

目前这份数据已经内置在PAI提供的公共数据集中,以jpg格式存储。任何PAI的用户都可以在深度学习组件的数据源OSS路径中直接输入,
* 测试数据: oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_test_image_list.txt
* 训练数据:oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_train_image_list.txt

如图:

格式转换

目前PAI上的Caffe框架只支持特定的格式,所以需要首先将jpg格式的图片进行格式转换。
https://zos.alipayobjects.com/rmsportal/xQCXkhsruDWjUKgrzCVW.png

经过格式转换,可以在自己的OSS路径下生成如下文件,训练数据和测试数据各一份。

需要记录对应的OSS路径用于net文件的填写,假设路径名分别是:

  • 训练数据data_file_list.txt:bucket/cifar/train/data_file_list.txt

  • 训练数据data_mean.binaryproto:bucket/cifar/train/data_mean.binaryproto

  • 测试数据data_file_list.txt:bucket/cifar/test/data_file_list.txt

  • 测试数据data_mean.binaryproto:bucket/cifar/test/data_mean.binaryproto

Caffe配置文件

Net文件编写,对应上文格式转换生成的路径:

Solver文件编写:

运行

将编辑好的Solver文件和Net文件全部传到OSS上,拖动caffe训练组件如图,在Sovler文件路径上选择OSS上提交的Solver文件,运行即可。

生成的图片分类model文件可以在OSS对应路径下查看,可以用以下模型进行图片分类

日志查看可以参照本文开头提供的“Tensorflow实现图像分类”。

其它

代码下载:http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/52239/cn_zh/1496736657170/Caffe_cifar10.zip?spm=5176.doc52239.2.2.tMrTgQ&file=Caffe_cifar10.zip

免费体验:阿里云数加机器学习平台

作者微信公众号(与作者讨论):

1
0
查看评论

阿里云 机器学习pai的使用数据的使用以及模型的存储

1.数据的使用  读取pickle import os import sys import argparse import tensorflow as tf import pickle from tensorflow.python.lib.io import file_io FLAGS ...
  • u011489887
  • u011489887
  • 2017-10-14 16:14
  • 353

阿里云机器学习PAI-快速上手指南

阿里云机器学习PAI-快速上手指南 What is 机器学习 机器学习指的是机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务。目前机器学习主要在以下一些方面发挥作用: 营销类场景:商品推荐、用户群体画像、广告精准投放 金融类场景:贷款发放预测...
  • forest_world
  • forest_world
  • 2017-05-08 14:41
  • 3420

Deep Learning-TensorFlow (5) CNN卷积神经网络_CIFAR-10进阶图像分类模型(下)

上篇博文我们介绍了 CIFAR-10 以及针对这个数据集分类问题采取的图片预处理 distorted_inputs() 和建立的预测模型 inference(),接下来根据返回的 logits 和实际的 labels 计算 loss,然后进行 train()。
  • u013751160
  • u013751160
  • 2017-03-22 15:49
  • 1964

Caffe中学习率策略应如何选择

今天,在训练网络时想换一种学习策略试试,因此重新研究了一下Caffe中提供的各种学习率策略,在这里和大家聊聊我使用时的一些经验教训。 我们先来看看和学习率策略有关的参数,以下的内容来自caffe.proto中: // The learning rate decay policy. The curre...
  • Sunshine_in_Moon
  • Sunshine_in_Moon
  • 2016-12-11 00:28
  • 7549

【机器学习PAI实践五】机器学习眼中的《人民的名义》

一、背景 最近热播的反腐神剧“人民的名义”掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用。笔者在平日追剧之余,也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析,希望从数据的角度得到一些输入。本文使用阿里云机器学...
  • gshengod
  • gshengod
  • 2017-05-04 10:25
  • 2929

【深度学习框架Caffe学习与应用】第三课 使用训练好的模型

1.均值文件 将所有训练样本的均值保存为文件。 首先将计算均值文件的caffe工具compute_image_mean放到当前目录:caffe/test/mnist/下面,之后运行如下命令: 这样,我们的均值文件就生成了 2.改写deploy文件(以mnist为例)(略过) 3.使用...
  • weixin_36340947
  • weixin_36340947
  • 2017-11-24 11:32
  • 176

图像分类 | 深度学习PK传统机器学习

原文:Image Classification in 5 Methods  作者:Shiyu Mou  翻译:何冰心 图像分类,顾名思义,是一个输入图像,输出对该图像内容分类的描述的问题。它是计算机视觉的核心,实际应用广泛。 图像分类的传统方法是特征描述及检测...
  • jaccen
  • jaccen
  • 2017-05-20 07:55
  • 1892

使用深度学习Caffe框架的C++接口进行物体分类

实现目标: 1、加载一张图片,然后显示图片的类别 2、加载一个文件夹,分类所有文件夹类的图片,把所有图片保存到其所属类别最大的那个文件夹里。小于一定权重值的图片不移动。 3、实现工程project
  • HYY0228
  • HYY0228
  • 2017-03-27 19:30
  • 1001

【机器学习PAI实践一】搭建心脏病预测案例

产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2一、背景心脏病是人类健康的头号杀手。全世界1/3的人口死亡是因心脏病引起的,而我国,每年有几十万人死于心脏病。 所以,如果可以通过提取人体相关的体侧...
  • gshengod
  • gshengod
  • 2016-12-13 15:06
  • 3052

Ubuntu14.04下深度学习框架Caffe的搭建

随着机器学习中神经网络技术的发展,衍生出深度学习技术,前段google公司风头一时无两的“阿尔法狗”就是深度学习的产物。而Caffe就是一款优秀的易于学习的深度学习框架。Caffe本身由c++写成,支持Java和Python接口。而本篇文章就是Caffe的入门篇之一,平台的搭建。  首先,推荐在li...
  • github_37953781
  • github_37953781
  • 2017-03-17 23:17
  • 744
    我的微信公众号

    作者公众号:凡人机器学习

    凡人机器学习

    机器学习微信交流群
    为了方便大家学习与交流,凡人云近日已开通机器学习社群! 分享“凡人机器学习”公众号名片到40人以上的大群并截图给小助手,小助手就会拉你入群 在这里你可以得到: 1.各种学术讨论 2.最新的资料分享 3.不定期的征文以及联谊活动! 小助手微信号:meiwznn
    作者新书《机器学习实践应用》

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    个人资料
    • 访问:839183次
    • 积分:11218
    • 等级:
    • 排名:第1692名
    • 原创:235篇
    • 转载:40篇
    • 译文:0篇
    • 评论:460条
    博客专栏
    统计