Caffe windows下入门级别的从编译到训练然后到分类（用python接口）制作自己的数据和训练网络（三）

最新推荐文章于 2024-05-06 23:03:11 发布
最新推荐文章于 2024-05-06 23:03:11 发布
阅读量873 收藏 1
点赞数
分类专栏： caffe 文章标签： windows caffe python 训练网络 制作数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/koloumi/article/details/57418364
版权

前言

上一篇我们把环境搭建好了和Caffe编译好了，接下来我们就可以去制作自己的数据集和训练我们的网络了。
接下来我们可以分为这么几步：
1.制作数据
    1.获取图片
    2.把图片尺寸统一为256*256
    3.制作训练和验证的标签
    4.制作识别用的标签
    5.图片文件格式的转换
    6.创建均值文件
2.训练模型
    1.配置solver文件
    2.配置train_val文件
    3.训练

制作数据集

制作数据集的我选择写个python的脚本去解决。当然你也可以直接去下载官方案例的图片。这里我就介绍脚本解决方法。

python图片爬虫代码
这里我引用我自己写的一个关于python爬虫的例子里面源代码也都有大家反正前面python的环境也都安装好了所以这里就直接用吧。
然后是将图片的尺寸修改到256*256这里我也直接给出python的源代码：

#-*- coding:utf-8 -*-

from PIL import Image
import os

CheckDirPath = os.path.abspath('..') + '/pictest'
OutDirPath = os.path.abspath('..') + '/mymnist/test'
NowNum = 0

#查找图片并且转换
def ChangeImgsSize(Dir):
    global NowNum
    for root,dirs,files in os.walk(Dir):
        for dir in dirs:
            NowNum = NowNum + 1
            for dirroot,dirdirs,dirfiles in os.walk(root + '/' + dir):
                for file in dirfiles:
                    SavePath = OutDirPath + '/' + str(NowNum) + '/'
                    OutFilePath = SavePath + file
                    try:
                        #print dirroot + file
                        im = Image.open(dirroot + '/' + file)
                        (width, height) = im.size
                        #检查图片的比例如果是竖直放置的图片则调整
                        #if width < height:
                        #    im = im.rotate(90)
                        out = im.resize((256,256))
                        if os.path.exists(SavePath) == False:
                            os.mkdir(SavePath)
                        out.save(SavePath + file)
                        print '[Debug] : Complete the Imagefile -----> ' +  file
                    except Exception,e:
                        print '[Error] : The Error info is [Exception] : ' +  str(Exception) + '[e] : ' + str(e)
                        if os.path.exists(OutFilePath):
                            os.remove(OutFilePath)
                            print '[Delete] : To Delete the file --->' + OutFilePath


if __name__ == '__main__':
    if os.path.exists(OutDirPath) == False:
        os.mkdir(OutDirPath)
    ChangeImgsSize(CheckDirPath)
然后是创建训练和验证标签的python源代码：

#-*- coding:utf-8 -*-

import os

CheckPicDir = 'mymnist/test/'
CheckDirPath = os.path.abspath('..') + '/' + CheckPicDir


def Create(Dir):
    LabelString = ''
    for root,dirs,files in os.walk(Dir):
        for dir in dirs:
            for dirroot,dirdirs,dirfiles in os.walk(root + dir):
                for file in dirfiles:
                    try:
                        LabelString += CheckPicDir + dir + '/' + file + ' ' + str(int(dir) - 1) + '\n'
                    except Exception,e:
                        print '[Error] : Exception---->' + str(Exception) + '___e------->' + str(e)
    return LabelString


if __name__ == '__main__':
    LabelString = Create(CheckDirPath)
    f = open(CheckDirPath + 'test.txt', 'w');
    f.write(LabelString)
    f.close()
然后是创建识别标签源代码：（这里的数据是我测试的时候用的所以你们改成自己的就好）

#-*- coding:utf-8 -*-

import os

LabelText = '哈士奇' + '\t' + '杜宾犬' + '\t' + '柴犬' + '\t' + '泰迪犬' + '\t' + '藏獒' + '\t' + '贵宾犬'


OutPath = os.path.abspath('..') + '/mymnist/test/labels.txt'
f = open(OutPath, 'w')
f.write(LabelText)
f.close();


这里是计算文件夹下有多少图片的代码后面配置的时候会可能需要数量：

#-*- coding:utf-8 -*-

import os

CheckDirPath = os.path.abspath('..') + '/mymnist/test/'

def CurNum(Dir):
    Num = 0
    for root,dirs,files in os.walk(Dir):
        for dir in dirs:
            for dirroot,dirdirs,dirfiles in os.walk(root + dir):
                for file in dirfiles:
                    Num += 1
    return Num


if __name__ == '__main__':
    num = CurNum(CheckDirPath)
    print num
下面是图片文件格式转换的代码（当然直接图片是不能拿来训练的所以我们需要转换为caffe能识别的数据格式）我们采用的数据格式为LEVELDB这种格式这些都是根据sh脚本改写的windows下的命令当然你们也可以使用一些工具直接运行sh脚本相应的脚本对用的路径在caffe-windows\examples\imagenet这文件夹里面：

 # coding:utf-8


import os

EXAMPLE = os.getcwd()
DBOUTPATH = os.path.abspath('..') + '/mymnist/'
TOOLS = '~~~~~~~~\\caffe-windows\\Build\\x64\\Release'
DBTYPE="leveldb"


TRAIN_DATA_ROOT= os.path.abspath('..') + '/'
TRAIN_DATA_LABEL = os.path.abspath('..') + '/mymnist/train.txt'
VAL_DATA_ROOT= os.path.abspath('..') + '/'
VAL_DATA_LABEL = os.path.abspath('..') + '/mymnist/val.txt'


RESIZE = False;

RESIZE_HEIGHT = '256'
RESIZE_WIDTH = '256'

#print os.environ

if __name__ == '__main__':
    if(RESIZE):
        print '不好意思我们并没有提供重新调整尺寸的代码!'
    print 'Strat Create LMDB DataBase.....'
    pathtrain = DBOUTPATH + 'caffe_train_' + DBTYPE
    pathtest = DBOUTPATH + 'caffe_test_' + DBTYPE

    if os.path.exists(pathtrain) == False:
        os.mkdir(pathtrain)
        print 'Create the Path : ' + pathtrain
    if os.path.exists(pathtest) == False:
        os.mkdir(pathtest)
        print  'Create the Path : ' + pathtest

    cmd1 = TOOLS + '/convert_imageset --resize_height=' + RESIZE_HEIGHT + ' --resize_width=' + RESIZE_WIDTH + " --shuffle --backend="+ DBTYPE +" " + TRAIN_DATA_ROOT + ' ' +  TRAIN_DATA_LABEL + ' ' + pathtrain + ' 1'
    print 'The cmd1 is : ' + cmd1 + 'and Start Create train ' + DBTYPE + '.....'
    os.system(cmd1)

    cmd2 = TOOLS + '/convert_imageset --resize_height=' + RESIZE_HEIGHT + ' --resize_width=' + RESIZE_WIDTH + " --shuffle --backend="+ DBTYPE +" " + VAL_DATA_ROOT + ' ' + VAL_DATA_LABEL + ' ' + pathtest + ' 1'
    print 'The cmd2 is : ' + cmd2 + 'and Start Create val ' + DBTYPE + '.......'
    os.system(cmd2)




格式也转换好了然后我们可以创建均值文件了（然后设置好我们转换后的数据的路径和均值文件的输出路径就好）：

# coding:utf-8

import os

MEAN_EXE_PATH = '~~~~~~~~\\caffe-windows\\Build\\x64\\Release\\compute_image_mean.exe'
DBTYPE = 'leveldb'
DBTYPE_PATH = os.path.abspath('..') + '/mymnist/caffe_train_leveldb'
MEAN_OUT_PATH = os.path.abspath('..') + '/mymnist/mean/'
MEAN_NAME = 'mean.binaryproto'


def CreateMeanFile():
    cmd = MEAN_EXE_PATH + ' --backend=' + DBTYPE + ' ' + DBTYPE_PATH + ' ' + MEAN_OUT_PATH + MEAN_NAME
    print 'Strat Create MeanFile..........'
    os.system(cmd)
    print '[Debug] : Complete!'



if __name__ == '__main__':
    if os.path.exists(MEAN_OUT_PATH) == False:
        os.mkdir(MEAN_OUT_PATH)
        print '[Debug] : Create the path' + MEAN_OUT_PATH
    CreateMeanFile()

训练模型

大家找到这个路径caffe-windows\models\bvlc_reference_caffenet我们所需要的2个配置文件全部都在这个路径下所以我们直接复制我们最上面列出的2个文件，复制到我们的工程目录下然后用编辑器打开修改对应的参数，
solver文件（~~~~~~~~这个换成你们自己的路径我这里就不显示具体的了）这里参数的讲解我想就不另外写了我直接放上别人的地址基本上都是一样的：

参数详解

net: "~~~~~~~~/train_val.prototxt"
test_iter: 30   
test_interval: 500
base_lr: 0.0001
lr_policy: "step"
gamma: 0.1
stepsize: 100000
display: 20
max_iter: 7000
momentum: 0.9
weight_decay: 0.0005
snapshot: 1000
snapshot_prefix: "~~~~~~~~/caffenet_train"
solver_mode: CPU

然后是train_val文件（由于这个文件太长我就不放全部了就放关键的部分，~~~~~~~~~~~~这个同样换成自己的路径）对了最后不要忘记吧最后的输出数量改成自己要分类的数量如果我们要分的类别是6种就像我的测试一样的话 请设置为num_output: 6：

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "~~~~~~~~~~~~/mean/mean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: true
#  }
  data_param {
    source: "~~~~~~~~~~~~/caffe_train_leveldb"
    batch_size: 20
    backend: LEVELDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "~~~~~~~~~~~~/mean/mean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: false
#  }
  data_param {
    source: "~~~~~~~~~~~~/caffe_test_leveldb"
    batch_size: 50
    backend: LEVELDB
  }
}
.......................

上面都OK之后就可以开始训练了，这个是训练的python代码（注：如果代码卡主那么应该是你没有设置好上面的参数，请把test_iter: 30
test_interval: 500这2个改小如果还是卡主很久很久 那么再把batch_size改小在train_val文件的往下第一个batch_size改小然后就可以跑训练数据了，对了如果还是卡主很久很久的话要么就是机子太烂了，或则就就打开dos直接输入命令去运行会好一些比如~~~~~~~~caffe.exe train --solver=~~~~~~~~\solver.prototxt 当然~~~~~~~~这个改成自己的路径caffe.exe在build里面），最后等待训练结束就OK：

# coding:utf-8

import os

CaffePath = '~~~~~~~~/caffe-windows/Build/x64/Release/caffe.exe'
SolverPath = os.path.abspath('..') + '/mymnist/solver.prototxt'

def Train():
    cmd = CaffePath + ' train --solver=' + SolverPath
    print '[Debug] : Start train the net.....'
    os.system(cmd)
    print '[Debug] : Complete....'




if __name__ == '__main__':
    Train()
koloumi
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python接口调用已训练好的caffe模型测试分类方法
01-20
训练好了model后，可以通过python调用caffe的模型，然后进行模型测试的输出。 本次测试主要依靠的模型是在caffe模型里面自带训练好的结构参数：~/caffe/models/bvlc_reference_caffe...
Caffe在Python中使用内存数据(MemoryData)进行训练
爱吃鱼的猫
07-29 6124
原文来源：http://closure11.com/caffe%E5%9C%A8python%E4%B8%AD%E4%BD%BF%E7%94%A8%E5%86%85%E5%AD%98%E6%95%B0%E6%8D%AEmemorydata%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%83/ 最近在一个新的数据集（CompCar）上需要做很多层次的分类任务，做
caffe for windows的python接口学习（4）：训练模型
Enjolras_fuu的博客
12-03 799
暂时不进行可视化，我们只想得到一个最终训练的model，可以用以下代码实现：import caffe caffe.set_device(0) caffe.set._mode_cpu() solver=caffe.SGDSolver('E:/CaffeDev/caffe-master/data/mypython1/solve.prototxt') solver.solve()之后会总结在caffe上直
Caffe windows下入门级别的从编译到训练然后到分类（用python接口）Caffe编译和环境（二）
koloumi的博客
02-24 1123
前言上一章我们把要用到的东西全部下载好了然后这一章开始安装和编译。 安装python这个就不用多说了Anaconda2-4.3.0.1-Windows-x86_64这个双击下一步下一步下一步就OK，安装好之后就配置path环境变量![这里写图片描述](http://img.blog.csdn.net/20170224105858638?watermark/2/text/aHR0cDovL2Jsb2c
Caffe | 你的第一个分类网络之Caffe训练
yuanCruise
01-20 867
1.生成lmdb lmdb是caffe训练网络用的数据格式，因此我们需要将原始的图片数据转换成lmdb（当然caffe中也可以直接用jpg进行训练）。利用上文Caffe | 你的第一个分类网络之数据准备中得到的train.txt和test.txt结合GitHub上caffe自带的批处理文件create_imagenet.sh就可以生成lmdb文件,该批处理文件存在如下所示的路径中。 基于trai...
windows下caffe编译的python接口
04-23
..\caffe-master\Build\x64文件夹下的Relesase文件打包，已经编译好了的，可以直接用。
在Windows下编译Caffe与其Python接口-附件资源
03-05
在Windows下编译Caffe与其Python接口-附件资源
caffe-windows-ms.zip_Python vc_caffe matlab编译_caffe-windows-ms_p
07-15
编译caffe框架，可拓展python接口和matlab接口以及vc接口
flutter 生成单选组件
weixin_40466351的博客
04-30 528
【代码】flutter 生成单选组件。
使用hutool工具导入excel Java
GSIBin
04-29 463
Hutool是一个Java工具类库，它提供了一系列实用的API，包括操作Excel的功能。要使用Hutool导入Excel，你可以使用ExcelReader类。以下是一个简单的例子，展示了如何使用Hutool导入Excel文件：
链表经典面试题
GOATLong的博客
05-02 1327
1.删除链表中等于给定值的所有结点1.删除链表中等于给定值的所有结点2.反转一个单链表这里我们需要在原链表中进行操作我们定义三个指针如下图所示：接下来就是改变l2指针的next指向l1之后l1指针走到l2，l2走到l3，l3走到l2的next，不断循环一直到l2为空指针这里有一个小细节如下图。
学生管理系统初级
d1241032813的博客
05-06 440
1.在书写时，考虑到了书写时id可是是abc... 类型是String，但在根据id获取集合中元素时 list.get() ，get（）里面是int类型。2.在书写还有一点功能并不完全，2.1查找时是打印所有学生信息，并不能根据输入关键信息打印相应学生2.2修改时，是所有信息都要修改，并没有实现，只修改某一个或几个信息。
cmake进阶：文件操作之写文件
wojiaxiaohuang2014的博客
05-06 123
cmake进阶：文件操作之写文件
双色球案例【C#】
最新发布
cfqq1989的博客
05-06 202
C#入门案例
批量抓取某电影网站的下载链接
知命不惧，日日自新。
05-04 1796
在这个Python项目中，开发者创建了一个名为`MovieScraper`的类，用于从网站抓取电影信息。这个类包含了一些方法，每个方法都负责完成一个特定的任务： - `get_response(url)`：向指定的URL发送GET请求并返回响应。 - `get_movie_list_html(response)`：从响应中提取电影列表的HTML。 - `get_sub_url_list(movie_list_html)`：从电影列表HTML中提取子URL。
单链表经典算法
lihaolihao111111的博客
05-02 849
在链表中，最值得注意的是，尾插链表，插入的是该节点和该节点后面的节点，也就是一串节点在插入链表的时候，记得要将该节点后面置为空。
数据结构——链表专题2
2301_79998744的博客
05-06 317
链表的一些题目
鸿蒙内核源码分析(事件控制篇) | 任务间多对多的同步方案
maniuT的博客
05-06 769
一对多同步模型：一个任务等待多个事件的触发。可以是任意一个事件发生时唤醒任务处理事件，也可以是几个事件都发生后才唤醒任务处理事件
caffe yolov4训练自己的数据集
07-12
要使用Caffe和YOLOv4来训练自己的数据集，你需要按照以下步骤进行操作： 1. 数据集准备：收集和标注你自己的数据集。确保每个图像都有相应的边界框标注，指示目标的位置和类别。 2. 数据集转换：将数据集转换为YOLOv4所需的格式。YOLOv4使用特定的数据格式，包括图像和标注文件。你可以使用脚本或工具将标注数据转换为YOLOv4格式。 3. 下载预训练模型：在开始训练之前，你可以从互联网上下载一个预训练的YOLOv4模型，作为起点。这将帮助你更快地收敛和提高性能。 4. 配置网络：根据你的数据集和需求，配置YOLOv4网络模型。这包括设置输入图像尺寸、类别数量等参数。 5. 训练模型：使用Caffe的训练工具来训练YOLOv4模型。通过指定配置文件和数据集路径，以及设置训练参数，例如学习率、迭代次数等。 6. 调优和评估：在训练过程中，你可以调整各种参数和超参数以优化模型性能。同时，记得使用评估数据集来评估模型的准确性和性能。 7. 推理和应用：在训练完成后，你可以使用训练好的YOLOv4模型进行目标检测任务。将模型加载到Caffe中，并使用自己的图像进行推理。 请注意，这只是一个高级指南，实际操作可能涉及更多的细节和步骤。确保你对Caffe和YOLOv4有一定的了解，并参考相关文档和教程来进行实际的训练过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值