使用c++和cuda写深度学习框架：Grape简介

最新推荐文章于 2024-08-31 13:09:03 发布

阳光玻璃杯

最新推荐文章于 2024-08-31 13:09:03 发布

阅读量5.3k

点赞数 6

分类专栏：深度学习

本文链接：https://blog.csdn.net/u011913612/article/details/100180166

版权

Grape是一个基于C++和CUDA的深度学习框架，无任何外部依赖，支持json构建计算图。它吸取了darknet、caffe和tiny_dnn的优点，提供面向对象的设计，易于理解和使用。Grape的Net结构包含多个计算图，Op和Tensor组件用于构建神经网络。虽然仍处于早期阶段，但已经在MNIST上展示了良好的性能。目前存在的挑战包括简化json定义网络、优化Op接口、增加Op种类、一机多卡和分布式训练的支持。

摘要由CSDN通过智能技术生成

前言

看过我之前的博客就知道，我曾经用java写了一个深度神经网络[CupDnn](https://github.com/sunnythree/CupDnn)，但是，java写的深度神经网络真的非常慢。由于这个原因，我打算使用c++和cuda重写一个深度学习框架。有了写CupDnn的经验，结合最近阅读darknet、caffe、tiny_dnn源码的心得，新写的[Grape](https://github.com/sunnythree/Grape)会有一些优点：

无任何依赖
支持 json/xml/binary参数保存
通过json构建计算图
c++ and cuda 非常快

此外，基于gtest的单元测试是代码质量的有力保障。

Grape大量使用darknet的代码，也使用了部分caffe和tiny_dnn的代码，非常感谢这些开源工程的帮助。但是呢，相比于caffe,Grape没有依赖多，安装麻烦的问题，相比darknet而言，c++面向对象组织的代码对习惯了面向对象设计的程序员而言更加容易接受,相比于tiny_dnn，Grape对cuda的支持更好。

Grape目前还处于婴幼儿时期，它的代码很少，很容易学习。Mnist的例子会让你轻易上手，全连接在Mnist上能轻易超过98%,卷积神经网络在mnist能轻易超过99%（gpu和cpu都已测试）。

整体设计

Net

整个神经网络由一个Net进行组织。net中可以有多个计算图。mnist的例子中，一个Net都有两个计算图，一个用来训练，一个用来测试，它们可以交替执行，这样就实现了训练一会后进行测试的目的。

Graph

计算图由Op和Tensor组成，Tensor同时包含了synced_memory来存储数据。synced_memory设计非常巧妙，它可以让你不用担心cpu和gpu之间的数据同步问题，当地读cpu数据，数据可能会自动从gpu同步到cpu，反之亦然。Op则是一些操作，比如Conv2d,Fc,PoolMax等。