NCNN开源框架使用教程(PC端)
测试平台:Ubuntu18.04(x64)
测试SqueezeNet开源学习模型在NCNN上的调用(PC端)
对ncnn进行编译
$ cd
$ mkdir –p build
$ cd build
$ cmake …
$ make –j4
编译完成后,复制examples目录下SqueezeNet模型的参数模型文件到build/examples目录下
$ copy examples/squeezenet_v1.1.param to build/examples
$ copy examples/squeezenet_v1.1.bin to build/examples
$ copy examples/synset_words.txt to build/examples
导入一张图片到build/examples文件夹内,然后开始预测。
$ cd build/examples
$ ./squeezenet yourimage.jpg
NCNN开源框架使用教程(Android端)
测试SqueezeNet开源学习模型在NCNN上的调用(Android端)
打开Android Studio,更新里面的cmake,sdk,ndk保持最新版本或者符合ncnn版本的要求(本文使用的环境是cmake3.15,sdkr24,ndk)
建立armv7依赖库
$ cd
$ mkdir –p build-android-armv7
$ cd build-android-armv7
$ cmake –DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake\ -DANDROID_ABI=”armeabi-v7a” –DANDROID_ARM_NEON=ON\ -DANDROID_PLATFORM=android-24 –DNCNN_VULKAN=OFF …
$ make –j4
$ make install
建立aarch64依赖库
$ cd
$ mkdir –p build-android-aarch64
$ cd build-android-aarch64
$ cmake –DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake\ -DANDROID_ABI=”arm64-v8a” –DANDROID_ARM_NEON=ON\ -DANDROID_PLATFORM=android-24 –DNCNN_VULKAN=OFF …
$ make –j4
$ make install
注:这里如果使用的是GPU请安装GPU所需相关组件,并把DNCNN_VULKAN设置为ON
- 打开Android Studio新建一个C++支持的Android工程,命名为squeezenet
- 在app/src/main中新建assets文件夹,将参数模型文件squeezenet_v1.1.bin、squeezenet_v1.1.param.bin以及类别标签文件synset_words.txt复制到该文件夹下;
- 在app/src/main/java中的MainActivity中进行模型导入以及调用的编码,并且新增NcnnJni导入库文件以及PhotoUtil图片处理两个java类;
- 在app/src/main中新增jinLibs文件夹,用来存放准备调用模型的依赖库,在里面分别建立armeabi-v7a、armeabi-v8a、armeabi文件夹,用来存放之前在PC端编译过的Android依赖库,即build-android-armv7/install/lib/libncnn.a、build-android-aarch64/install/lib/libncnn.a,剩余为空;
- 在app/src/cpp文件夹下新建squeezencnn_jni.cpp和头文件squeezenet_v1.1.id.h,从编译文件中的install文件夹找到include文件夹,导入到cpp文件夹中,作为头文件的集合;
- 修改app文件夹中的CmakeLists.txt文件,修改对应版本号,修改各个文件及依赖库的对应路径,详见squeezenet文件夹中的例子;
- 修改app/build.gradle中的
defaultConfig{
externalNativeBuild{
cmake{
cppFlags “-std=c++11 -fopenmp”
abiFilters “armeabi-v7a”
}
}
}
externalNativeBuild{
cmake{
path “CmakeLists.txt”
version “3.10.2”
}
sourceSets{
main{
jniLibs.srcDirs=[“/src/main/jniLibs”]
jni.srcDirs=[‘src/cpp’]
}
} - 修改squeezenet主目录下的local.properties中sdk.dir的绝对路径,增加ndk.dir的绝对路径,
- 例:ndk.dir=/opt/android/android-sdk-linux/ndk-bundle
sdk.dir=/opt/android/android-sdk-linux - 修改app\src\res\layout\activity_main.xml文件,对安卓端的界面布局进行修改,可以参考本文squeezenet例子,也可以参考本文例子后定制自己喜欢的风格;
大功告成后,即可进行build对该工程进行编译生成.apk文件了。
本文中所采用的squeezenet的模型文件均是开源的深度学习框架模型,使用均是官方进行训练的ImageNet公共图片数据集,如何使用自己的数据集并且训练出符合自己数据集特点的模型呢?
以下为本文采用的基于caffe的迁移学习内容,使用squeezenet深度学习开源模型进行数据集的预训练,即用开源的模型对自己所要预测的数据集进行特征提取,在特征提取基础上对这些特征和类别进行训练,得到特征和类别的映射关系,从而完成对自己数据集的预测,具体步骤如下:
- 去github找到squeezenet的开源学习模型并下载,其中包括SqueezeNet_v1.0(内含train_val.prototxt、deploy.prototxt、solver.prototxt和squeezenet_v1.0.caffemodel)和SqueezeNet_v1.1(内含train_val.prototxt、deploy.prototxt、solver.prototxt和squeezenet_v1.1.caffemodel)
- caffe文件夹内新建build文件夹,然后进入文件夹进行编译;
- 将SqueezeNet_v1.0复制到caffe/examples中;
- 标记分类样本,将训练、验证和测试图片分别放在SqueezeNet_v1.0下子目录train、val和test下,创建train.txt、val.txt,test.txt格式如下:
照片名 分类label - 生成训练和测试集(本例用lmdb格式),编辑shell脚本createTrainLmdb.sh、createValLmdb.sh
- 生成图像均值文件mean.binaryproto,编辑shell脚本createMeanfile.sh
- 另存一份.npy格式的图像均值文件,编辑binary-to-npy.py文件,运行成功后得到mean.npy供后续预测调用。
- 修改SqueezeNet网络模型参数,其中train_val.prototxt为训练模型文件,deploy.prototxt为测试模型文件,solver.prototxt为训练参数配置文件。
- 修改train_val.prototxt,指定自己的训练集路径和batch_size
transform_param{
mean_file:”自己的绝对路径/mean.binaryproto”
}
data_param{
source:”自己的绝对路径/lmdb/trainlmdb”
batch_size:16
backend:LMDB
}
transform_param{
mean_file:”自己的绝对路径/mean.binaryproto”
}
data_param{
source:”自己的绝对路径/lmdb/vallmdb”
batch_size:16
backend:LMDB
}
10) 修改train_val.prototxt最后一层卷积网络名称conv10为conv11(所有的conv10都需要改成conv11),将conv11 output_num 1000改为最终分类数,top 5改成最终分类数。将deploy.prototxt中相同的参数做相同的修改。
调整slover.prototxt中相关参数,具体参数意义如下:
net: “examples/AAA/train_val.prototxt” #训练或者测试配置文件
test_iter: 40 #完成一次测试需要的迭代次数
test_interval: 475 #测试间隔
base_lr: 0.01 #基础学习率
lr_policy: “step” #学习率变化规律
gamma: 0.1 #学习率变化指数
stepsize: 9500 #学习率变化频率
display: 20 #屏幕显示间隔
max_iter: 47500 #最大迭代次数
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减
snapshot: 5000 #保存模型间隔
snapshot_prefix: “models/A1/caffenet_train” #保存模型的前缀
solver_mode: GPU #是否使用GPU
*注:
- ####训练样本###
总共:121368个
batch_szie:256
将所有样本处理完一次(称为一代,即epoch)需要:121368/256=475 次迭代才能完成
所以这里将test_interval设置为475,即处理完一次所有的训练数据后,才去进行测试。所以这个数要大于等于475.
如果想训练100代,则最大迭代次数为47500; - ####测试样本###
同理,如果有1000个测试样本,batch_size为25,那么需要40次才能完整的测试一次。 所以test_iter为40;这个数要大于等于40. - ####学习率###
学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代47500次,我们将变化5次,所以stepsize设置为47500/5=9500,即每迭代9500次,我们就降低一次学习率。
- 编辑shell脚本train.sh
- 执行./train.sh开始训练,迭代得到训练完成的.caffemodel
- 编辑main.py,通过python对测试图片进行加载,处理并加载.caffemodel和deploy.prototxt模型参数文件,将图片导入模型中,并且依据test.txt的分类标签对输出结果进行处理得到最终预测分类结果。*