Sam's Tech Blog

分享,交流,关注AI,大数据

caffe使用中的问题记录

caffe使用中的问题记录

说明

本文用来记录使用caffe深度学习开源框架时遇到的问题及其解决方案。

问题1 caffe-parallel has a bug: Check failed: proto.SerializeToOstream(&output)

  • 问题描述:在运行训练网络一段时间出现caffe-parallel has a bug: Check failed: proto.SerializeToOstream(&output)
  • 解决:一般是没有相应的目录或者权限对这个目录进行写操作而引起的,我这里是在solver中设置错了snapshot directory ,改为正确的目录就好。

问题2 Caffe: Data layer prefetch queue empty

  • 问题描述:在运行训练网络一段时间出现blocking_queue.cpp:50] Data layer prefetch queue empty
  • 解决
    可以使用prefetch参数:
    data_param {
    source: “./data/ilsvrc12/ilsvrc12_train_lmdb”
    batch_size: 32
    backend: LMDB
    prefetch: 20
    }
    原因:CPU数据读入慢于GPU计算,导致GPU处于空闲,使得计算速度下降,迭代时间间隔扩大。nvidia-smi显示为:GPU功率不断大幅度变化,GPU电压不稳定。
    可能诱因:服务器同时在进行其他工作,如大规模读写数据(频繁使用IO),数据无法读入;CPU同时进行其他工作,负载极重,无法正常读取数据;CPU内存爆表,所有程序速度变慢。
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/laoxuan2011/article/details/51548307
个人分类: Deep Learning
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

caffe使用中的问题记录

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭