在使用openpose的docker执行命令时,出现下述错误提示
root@1015281c1858:/openpose# python3 consecutive_openpose.py
Starting OpenPose demo...
Configuring OpenPose...
Starting thread(s)...
F1117 06:45:27.081745 90 syncedmem.cpp:71] Check failed: error == cudaSuccess (2 vs. 0) out of memory
*** Check failure stack trace: ***
@ 0x7f36e3efb5cd google::LogMessage::Fail()
@ 0x7f36e3efd433 google::LogMessage::SendToLog()
@ 0x7f36e3efb15b google::LogMessage::Flush()
@ 0x7f36e3efde1e google::LogMessageFatal::~LogMessageFatal()
@ 0x7f36e34f41b8 caffe::SyncedMemory::mutable_gpu_data()
@ 0x7f36e34f63c2 caffe::Blob<>::mutable_gpu_data()
@ 0x7f36e35337fd caffe::ConcatLayer<>::Forward_gpu()
@ 0x7f36e34e1bd1 caffe::Net<>::ForwardFromTo()
@ 0x7f36e5437830 op::NetCaffe::forwardPass()
@ 0x7f36e5465297 op::HandExtractorCaffe::detectHandKeypoints()
@ 0x7f36e5466b96 op::HandExtractorCaffe::forwardPass()
@ 0x7f36e54606c9 op::WHandExtractorNet<>::work()
@ 0x7f36e5450769 op::Worker<>::checkAndWork()
@ 0x7f36e545090b op::SubThread<>::workTWorkers()
@ 0x7f36e54593db op::SubThreadQueueInOut<>::work()
@ 0x7f36e54536bb op::Thread<>::threadFunction()
@ 0x7f36e4de0c80 (unknown)
@ 0x7f36e45326ba start_thread
@ 0x7f36e484f41d clone
@ (nil) (unknown)
Aborted (core dumped)
在openpose的github上找到类似的错误,其中是说CUDA和CUDNN版本不匹配
实验环境用的CUDA版本是10.0,CUDNN版本是7.3
将CUDNN更新到7.6.5和7.5.1之后还是报同样的错误
后来发现是由于使用的GPU数量太少导致的,而且我的错误提示是out of memory,而github上的错误提示是CUDNN_STATUS_NOT_INITIALIZED,说明不是同一个错误
实验室的管理员也说CUDNN高版本是向下兼容的,使用高版本还是出错的话就不是CUDNN的问题了
使用openpose的docker时至少要使用4块GPU,否则就会提示内存不足,而且还要从编号0开始才不容易出错(好像是内部已经设置好了必须从0开始,要想好用一点还是自己重新装一个OpenPose,而不是用docker)。