windows下编译深度学习框架mxnet并使用C++训练模型

最新推荐文章于 2024-09-21 22:34:33 发布
最新推荐文章于 2024-09-21 22:34:33 发布
阅读量1.2w 收藏 26
点赞数 6
分类专栏： C/C++ Machine Learning 机器学习 文章标签： AI mxnet C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012234115/article/details/80503086
版权
本文介绍如何在Windows系统下从源码编译MXNet，安装Python版的包，并使用C++原生接口创建示例程序。主要内容包括：编译出libmxnet.lib和libmxnet.dll的GPU版本、从源码安装MXNet Python包、构建MXNet C++示例程序。
摘要由CSDN通过智能技术生成

大多数情况下，mxnet都使用python接口进行深度学习程序的编写，方便快捷，但是有的时候，需要把机器学习训练和识别的程序部署到生产版的程序中去，比如游戏或者云服务，此时采用C++等高级语言去编写才能提高性能，本文介绍了如何在windows系统下从源码编译mxnet，安装python版的包，并使用C++原生接口创建示例程序。

 

目标

 

  • 编译出libmxnet.lib和libmxnet.dll的gpu版本
  • 从源码安装mxnet python包
  • 构建mxnet C++示例程序

环境

 

  • windows10
  • vs2015
  • cmake3.7.2
  • Miniconda2（python2.7.14）
  • CUDA8.0
  • mxnet1.2
  • opencv3.4.1
  • OpenBLAS-v0.2.19-Win64-int32
  • cudnn-8.0-windows10-x64-v7.1（如果编译cpu版本的mxnet，则此项不需要）

 

步骤

下载源码

最好用git下载，递归地下载所有依赖的子repo，源码的根目录为mxnet

git clone --recursive https://github.com/dmlc/mxnet

依赖库

在此之前确保cmake和python已经正常安装，并且添加到环境变量，然后再下载第三方依赖库

 

cmake配置

打开cmake-gui，配置源码目录和生成目录，编译器选择vs2015 win64

 

配置第三方依赖库

 

configure和generate

注意：在这一步中不要勾选cpppackage选项，不然会编译不过，因为这选项是为了生成op.h这个头文件的，但是由于官网文档的bug，目前无法通过配置cmake编译自动生成，后面会讲手动生成

 

编译vs工程

打开mxnet.sln，配置成release x64模式，编译整个solution

编译完成后会在对应文件夹生成mxnet的lib和dll

此时整个过程成功了一半

 

安装mxnet的python包

有了libmxnet.dll就可以同源码安装python版的mxnet包了

不过，前提是需要集齐所有依赖到的其他dll，如图所示，将这些dll全部拷贝到mxnet/python/mxnet目录下

tip: 关于dll的来源

 

  • opencv，openblas，cudnn相关dll都是从这几个库的目录里拷过来的
  • libgcc_s_seh-1.dll和libwinpthread-1.dll是从mingw相关的库目录里拷过来的，git，qt等这些目录都有
  • libgfortran-3.dll和libquadmath_64-0.dll是从adda（https://github.com/adda-team/adda/releases）这个库里拷过来的，注意改名

然后，在mxnet/python目录下使用命令行安装mxnet的python包

python setup.py install

安装过程中，python会自动把对应的dll考到安装目录，正常安装完成后，在python中就可以 import mxnet 了

生成C++依赖头文件 op.h

为了能够使用C++原生接口，这一步是很关键的一步，目的是生成mxnet C++程序依赖的op.h文件

如果直接指向编译mxnet并使用C++，前面的python包安装可以不做

在mxnet/cpp-package/scripts目录，将所有依赖到的dll拷贝进来

在此目录运行命令行

python OpWrapperGenerator.py libmxnet.dll

正常情况下就可以在mxnet/cpp-package/include/mxnet-cpp目录下生成op.h了

如果这个过程中出现一些error，多半是dll文件缺失或者版本不对，很好解决

构建C++示例程序

建立cpp工程，这里使用经典的mnist手写数字识别训练示例（请提前下载好mnist数据，地址：mnist），启用GPU支持

选择release x64模式

配置include和lib目录以及附加依赖项

include目录包括：

 

  • D:\mxnet\include
  • D:\mxnet\dmlc-core\include
  • D:\mxnet\nnvm\include
  • D:\mxnet\cpp-package\include

lib目录：

 

  • D:\mxnet\build_x64\Release

附加依赖项：

 

  • libmxnet.lib

 

代码 main.cpp

#include <chrono>
#include "mxnet-cpp/MxNetCpp.h"

using namespace std;
using namespace mxnet::cpp;

Symbol mlp(const vector<int> &layers)
{
	auto x = Symbol::Variable("X");
	auto label = Symbol::Variable("label");

	vector<Symbol> weights(layers.size());
	vector<Symbol> biases(layers.size());
	vector<Symbol> outputs(layers.size());

	for (size_t i = 0; i < layers.size(); ++i)
	{
		weights[i] = Symbol::Variable("w" + to_string(i));
		biases[i] = Symbol::Variable("b" + to_string(i));
		Symbol fc = FullyConnected(
			i == 0 ? x : outputs[i - 1],  // data
			weights[i],
			biases[i],
			layers[i]);
		outputs[i] = i == layers.size() - 1 ? fc : Activation(fc, ActivationActType::kRelu);
	}

	return SoftmaxOutput(outputs.back(), label);
}

int main(int argc, char** argv)
{
	const int image_size = 28;
	const vector<int> layers{128, 64, 10};
	const int batch_size = 100;
	const int max_epoch = 10;
	const float learning_rate = 0.1;
	const float weight_decay = 1e-2;

	auto train_iter = MXDataIter("MNISTIter")
		.SetParam("image", "./mnist_data/train-images.idx3-ubyte")
		.SetParam("label", "./mnist_data/train-labels.idx1-ubyte")
		.SetParam("batch_size", batch_size)
		.SetParam("flat", 1)
		.CreateDataIter();
	auto val_iter = MXDataIter("MNISTIter")
		.SetParam("image", "./mnist_data/t10k-images.idx3-ubyte")
		.SetParam("label", "./mnist_data/t10k-labels.idx1-ubyte")
		.SetParam("batch_size", batch_size)
		.SetParam("flat", 1)
		.CreateDataIter();

	auto net = mlp(layers);

	// start traning
	cout << "==== mlp training begin ====" << endl;

	auto start_time = chrono::system_clock::now();

	Context ctx = Context::gpu();  // Use GPU for training

	std::map<string, NDArray> args;
	args["X"] = NDArray(Shape(batch_size, image_size*image_size), ctx);
	args["label"] = NDArray(Shape(batch_size), ctx);
	// Let MXNet infer shapes of other parameters such as weights
	net.InferArgsMap(ctx, &args, args);

	// Initialize all parameters with uniform distribution U(-0.01, 0.01)
	auto initializer = Uniform(0.01);
	for (auto& arg : args)
	{
		// arg.first is parameter name, and arg.second is the value
		initializer(arg.first, &arg.second);
	}

	// Create sgd optimizer
	Optimizer* opt = OptimizerRegistry::Find("sgd");
	opt->SetParam("rescale_grad", 1.0 / batch_size)
		->SetParam("lr", learning_rate)
		->SetParam("wd", weight_decay);
	std::unique_ptr<LRScheduler> lr_sch(new FactorScheduler(5000, 0.1));
	opt->SetLRScheduler(std::move(lr_sch));

	// Create executor by binding parameters to the model
	auto *exec = net.SimpleBind(ctx, args);
	auto arg_names = net.ListArguments();

	// Create metrics
	Accuracy train_acc, val_acc;

	// Start training
	for (int iter = 0; iter < max_epoch; ++iter)
	{
		int samples = 0;
		train_iter.Reset();
		train_acc.Reset();

		auto tic = chrono::system_clock::now();
		while (train_iter.Next())
		{
			samples += batch_size;
			auto data_batch = train_iter.GetDataBatch();
			// Data provided by DataIter are stored in memory, should be copied to GPU first.
			data_batch.data.CopyTo(&args["X"]);
			data_batch.label.CopyTo(&args["label"]);
			// CopyTo is imperative, need to wait for it to complete.
			NDArray::WaitAll();

			// Compute gradients
			exec->Forward(true);
			exec->Backward();

			// Update parameters
			for (size_t i = 0; i < arg_names.size(); ++i)
			{
				if (arg_names[i] == "X" || arg_names[i] == "label") continue;
				opt->Update(i, exec->arg_arrays[i], exec->grad_arrays[i]);
			}
			// Update metric
			train_acc.Update(data_batch.label, exec->outputs[0]);
		}
		// one epoch of training is finished
		auto toc = chrono::system_clock::now();
		float duration = chrono::duration_cast<chrono::milliseconds>(toc - tic).count() / 1000.0;
		LG << "Epoch[" << iter << "] " << samples / duration \
			<< " samples/sec " << "Train-Accuracy=" << train_acc.Get();;

		val_iter.Reset();
		val_acc.Reset();
		while (val_iter.Next())
		{
			auto data_batch = val_iter.GetDataBatch();
			data_batch.data.CopyTo(&args["X"]);
			data_batch.label.CopyTo(&args["label"]);
			NDArray::WaitAll();

			// Only forward pass is enough as no gradient is needed when evaluating
			exec->Forward(false);
			val_acc.Update(data_batch.label, exec->outputs[0]);
		}
		LG << "Epoch[" << iter << "] Val-Accuracy=" << val_acc.Get();
	}

	// end training
	auto end_time = chrono::system_clock::now();
	float total_duration = chrono::duration_cast<chrono::milliseconds>(end_time - start_time).count() / 1000.0;
	cout << "total duration: " << total_duration << " s" << endl;

	cout << "==== mlp training end ====" << endl;

	//delete exec;
	MXNotifyShutdown();

	getchar(); // wait here
	return 0;
}

编译生成目录

 

  • 预先把mnist数据拷进去，维持相对目录结构
  • 在执行目录也要把所有依赖的dll拷贝进来

运行结果

在官方的example里面有mlp的cpu和gpu两个版本，有兴趣的话可以跑起来做一个对比

其实，在某些数据量小的情况下，gpu版本并不明显比cpu版本消耗的训练时间少

至此，大功告成

cpp-MXNet轻量级便携灵活的分布式移动深度学习框架
08-16
MXNet是一款强大的开源深度学习框架，它以轻量级、便携性和灵活性为特点，尤其适合于分布式和移动环境中的深度学习应用。标题中的“cpp”指的是MXNet提供了C++接口，使得开发者能够利用C++进行高效且低级别的编程，...
《动手学深度学习》安装CPU计算的MXNet和GPU版本的MXNet
weixin_47566927的博客
10-23 9369
在上篇文章我介绍了深度学习的一些python基础和IDE的选择，这次我们从李沐老师的译作《动手学深度学习》中完整的走一遍安装MXNet的安装。 在介绍安装MXNet安装之前，我们先了解一下，什么是MXNet？ 在如今开源深度学习框架中包括TensorFlow，Keras，MXNet，PyTorch，CNTK，Theano，Caffe，DeepLearning4，Lasagne，Neon等等。但是当下最主流的框架当属TensorFlow，Keras，MXNet，PyTorch。 因为已经有大佬做过对比分析了，
MXNet入门必备：详解MXNet安装，让你快速上手深度学习
04-11 6337
MXNet是一个开源的、灵活的、高效的深度学习框架。它于2015年由亚马逊团队开发，旨在为深度学习研究人员、开发工程师和数据科学家提供一个帮助他们更容易地训练和部署深度学习算法的平台。 MXNet可以运行在CPU、GPU和云上，支持多种编程语言，包括Python、Java、Scala、R、C++等。它也提供了一个用户友好的高级API，并允许用户通过符号式编程和命令式编程两种方式创建和训练深度学习模型。此外，MXNet还支持分布式训练和部署，以应对大规模数据和模型的需求。
mxnet系统架构
最新发布
2303_77224751的博客
09-21 1297
到目前为止，我们基本上涵盖了定义一个 Operator 的全部接口。使用 Operator 接口来实现你的计算逻辑 (Forward 和 Backward)。使用 OperatorProperty 接口来：向运算符类传递参数（可以使用 Init 接口）使用 CreateOperator 接口来创建运算符正确地实现描述操作符的接口，例如参数名，等等正确地实现 InferShape 接口来设置输出张量的形状。
TensorFlow、PyTorch、MXNet等深度学习框架在对象检测和语义分割中的优缺点分析
changjuanfang的专栏
07-10 1709
对象检测和语义分割是计算机视觉领域的两个重要任务。随着深度学习技术的不断发展，出现了很多流行的深度学习框架，如TensorFlow、PyTorch、MXNet、Caffe等。这些框架提供了丰富的神经网络模型和算法，方便开发者快速搭建和训练自己的模型。
安装mxnet详细版
Jawy_的博客
10-31 2673
本文分享了下载mxnet并在Jupyter中运行所遇到的一些困难及解决方法
【避免踩坑+报错】Python mxnet包成功安装指南
qq_61499275的博客
11-18 7918
安装的python3.7.0的位置 一般位于anaconda主目录下的envs/环境名/python.exe，这个环境名是对应你上面那个所创建的环境名，即由【conda create -n 】命令创建的环境名。【注意：mxnet和numpy之间存在版本依赖关系，如果numpy版本不对，mxnet也会报错，我测试的可能支持numpy的版本1.16 < version <=1.19】如果上述安装成功但mxnet安装失败，可以切换numpy下载的版本试一试，切换版本下载命令。此时，mxnet可以成功安装。
TensorFlow与主流深度学习框架对比
01-27
TensorFlow是Google开发的一款强大的开源机器学习和深度学习框架，其设计目的是为了简化模型构建、训练和部署的过程。TensorFlow以其高效、灵活和可移植性著称，它允许开发者使用高级API来构建复杂的神经网络，同时...
mxnet windows环境的预编译包
07-05
MXNet是一款深度学习框架，由亚马逊(Amazon)支持，并且是Apache软件基金会的顶级项目之一。它在多个编程语言中都有接口，包括Python、Java、R、Scala、Julia等，尤其在处理大规模分布式训练时表现优秀。MXNet的核心...
MXNet C++ API (CUDA 8.0, win x64 , without cudnn)
12-18
MXNet C++ API 是一个深度学习框架MXNet的重要组成部分，专为C++开发者设计，提供了高效、灵活且可移植的接口来构建和训练神经网络模型。CUDA 8.0是NVIDIA开发的并行计算平台，用于利用GPU的计算能力加速高性能计算...
深度学习框架演进（2021）（25页）.pdf
03-15
深度学习框架是现代人工智能发展的重要基石，它们为开发者提供了构建、训练和部署复杂神经网络模型的工具。这篇报告深入探讨了深度学习框架的历史演变，从早期的Torch、Theano到Caffe，再到如今广泛应用的TensorFlow...
MXNet安装流程详解：跨平台、全版本兼容
2301_78348935的博客
04-09 1663
MXNet是一种高效、灵活、可扩展、跨平台的深度学习框架，具有以下显著特点： - 高效：MXNet采用了多种并行处理技术，可以利用CPU和GPU的计算能力，有效地加速了模型训练和推理的速度。 - 灵活：MXNet提供了灵活的符号式API和命令式API，用户可以自由选择不同的编程方式，灵活地构建和修改深度学习模型。 - 可扩展：MXNet的设计使得它可以在多台服务器之间共享模型和数据，可以处理大规模的深度学习任务。 - 跨平台：MXNet支持多种编程语言和操作系统，例如Python、Scala、R、C++等
MxNet（GPU版本）安装及相关配置（CUDA，CuDNN，Graphviz，d2l，虚拟环境配置）及最终建议
热门推荐
Romaga的博客
10-04 1万+
安装MxNet遇到的坑
Python MXNet库：高效的深度学习框架
GitHub_miao的博客
08-14 1119
更多Python学习内容：ipengtao.com随着深度学习在人工智能领域的广泛应用，选择一个合适的深度学习框架至关重要。Python的MXNet库提供了一个高效且灵活的深度学习框架，支持多种语言和硬件平台。MXNet不仅适用于研究型项目，还可以应用于大规模生产环境。本文将详细介绍MXNet库的功能、安装与配置、基本和高级用法，以及如何在实际项目中应用它。MXNet库简介MXNet是一个开源的深...
MXNet学习笔记
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-09 1184
MXNet也有自己的专属图像数据格式，MXNet读取图像有两种方式。
MXNet简介
kealennieh的博客
10-29 8814
MXNet简介 MXNet是一个十分优秀的深度学习框架。目前包含了许多语言接口，如Python、C++、Scala、R等。目前，MXNet版本已经更新到1.3.0。本系列文章主要使用Python接口。 在MXNet官网[1]上，官方建议新手使用Python接口，进一步使用下面的Gluon APIs。因为这种方式可以很灵活且容易进行调试。Gluon接口有许多丰富的资源，包括官网上面的例子以及李沐老师...
MXNet入门
牛肉胡辣汤
10-24 458
MXNet是一个开源的深度学习框架，其快速、灵活和高效的设计使其成为许多研究者和工程师的首选。本文将介绍如何入门使用MXNet，包括安装、基本概念和简单示例。MXNet是一个强大而灵活的深度学习框架，本文介绍了MXNet的基本概念和使用方法。通过学习和实践，你可以更深入地掌握MXNet，并应用于各种深度学习任务中。希望本文能帮助你快速入门MXNet，并开始构建自己的模型。我们需要定义适合我们任务的损失函数和优化器。pythonCopy code# 定义损失函数和优化器。
MXNet安装教程：详细步骤与常见问题解析
zevjay的博客
04-15 2156
CUDA/CuDNN版本不匹配：确保安装的MXNet版本与系统上的CUDA/CuDNN版本兼容。完成上述步骤并成功运行示例代码后，恭喜你已成功在本地安装并验证了MXNet。本文将详细介绍不同方式下的安装步骤，以及在安装过程中可能遇到的常见问题及其解决方案，助你在本地顺利搭建MXNet开发环境。依赖冲突：检查现有环境中的依赖版本，可能需要创建新的虚拟环境或调整现有环境的依赖。Rtools未安装：对于Windows用户，需先安装Rtools。编译器问题：确保已安装C++编译器（如g++或MSVC）。
配置MXNET、Pytorch、Tensorflow环境详细教程
song_irving的博客
07-07 3504
最近学习计算机视觉，用了两天配置了三个框架的环境，配置过程可谓是十分艰辛，特此写个博客来记录配置过程，等忘记了可以回来看看。无论配置何种框架的环境，都离不开一个宝贝应用——anaconda，这是一个配置虚拟环境的宝贝应用，有着无限可能。当然，也可以选择他的轻量级应用——Miniconda，我个人依然选择使用anaconda，但是Miniconda的操作与anaconda的操作是大同小异的。anaconda的下载很多博主会给出官网和镜像两种方式，个人认为完全不需要官网，镜像资源yyds，这里直接给出清华的镜像
评论 37
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值