c++编译/链接库/神经网络框架与cuda、cudnn的前世今生

最新推荐文章于 2024-04-29 21:50:55 发布
最新推荐文章于 2024-04-29 21:50:55 发布
阅读量618 收藏 2
点赞数
分类专栏： 笔记 文章标签： python c++ c语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38530930/article/details/118462437
版权

C++编译/链接库/神经网络框架与Cuda、Cudnn的前世今生

#### C/C++编译链接
C语言的编译链接过程就是把我们所编写的C/C++代码转换成相应硬件架构能够执行的指令集中的机器指令，整个过程主要分为编译和链接，编译的主要工作是将源代码转换为目标文件（.o文件），链接链接是把目标文件、操作系统的启动代码和用到的库文件进行组织，形成最终生成可执行文件（.exe文件）的过程。

  1. 编译

    • 编译预处理

      • 宏定义指令
        如# define Name TokenString，# undef（在自身后面取消以前定义的宏定义）等。对于前一个伪指令，预编译所要做的是将程序中的所有Name用TokenString替换，但作为 字符串常量的 Name则不被替换。对于后者，则将取消对某个宏的定义，使以后该串的出现不再被替换。
      • 条件编译指令
        如# ifdef，# ifndef，# else，# elif，# endif等。这些伪指令的引入使得程序员可以通过定义不同的宏来决定编译程序对哪些代码进行处理。预编译程序将根据有关的文件，将那些不必要的代码过滤掉。
      • 头文件包含指令
        处理#include预编译指令，将被包含的文件插入到该预编译指令的位置。（头文件展开是个递归展开的过程，被包含的文件可能还包含其他文件）
      1. 删除注释
      2. 添加行号和文件名标识
      3. 保留所有#pragma指令

      预编译程序所完成的基本上是对源程序的“替代”工作。经过此种替代，生成一个没有宏定义、没有条件编译指令、没有特殊符号的输出文件。这个文件的含义同没有经过预处理的源文件是相同的，但内容有所不同。下一步，此输出文件将作为编译程序的输入而被翻译成为机器指令.

    1. 编译
      编译程序所要作得工作就是通过词法分析和语法分析，在确认所有的指令都符合语法规则之后，将其翻译成等价的中间代码表示或汇编代码（.s文件）。优化处理是编译系统中一项比较艰深的技术。它涉及到的问题不仅同编译技术本身有关，而且同机器的硬件环境也有很大的关系。优化一部分是对中间代码的优化。这种优化不依赖于具体的计算机。另一种优化则主要针对目标代码的生成而进行的。

    2. 汇编
      汇编过程实际上指把汇编语言代码翻译成目标机器指令（.o文件）的过程。对于被翻译系统处理的每一个C语言源程序，都将最终经过这一处理而得到相应的目标文件。目标文件中所存放的也就是与源程序等效的目标的机器语言代码。

  2. 链接
    由汇编程序生成的目标文件并不能立即就被执行，其中可能还有许多没有解决的问题。例如，某个源文件中的函数可能引用了另一个源文件中定义的某个符号（如变量或者函数调用等）；在程序中可能调用了某个库文件中的函数，等等。所有的这些问题，都需要经链接程序的处理方能得以解决。

    链接程序的主要工作就是将有关的目标文件彼此相连接，也即将在一个文件中引用的符号同该符号在另外一个文件中的定义连接起来，使得所有的这些目标文件成为一个能够被操作系统装入执行的统一整体。

    链接可以在以下三个时刻进行,并分为静态链接和动态链接:

    编译时(compilation time)，也就是在源代码被翻译成机器代码时。
    加载时(load time)在程序被加载器loader加载到内存并执行时。
    运行时(run time)，由应用程序负责加载。
    开发深度学习的小伙伴对LD_LIBRARY_PATH这个路径一定很好奇，我想他便是来源于加载时。

    • 静态链接
      • 执行时间：程序编译阶段
      • 具体流程：在这种链接方式下，函数的代码将从其所在的静态链接库中被拷贝到最终的可执行程序中。这样该程序在被执行时这些代码将被装入到该进程的虚拟地址空间中。静态链接库实际上是一个目标文件的集合，其中的每个文件含有库中的一个或者一组相关函数的代码。
    • 动态链接
      • 执行时间：推迟到运行时再进行（load time）
      • 具体流程: 在可执行文件装载时或运行时，由操作系统的装载程序加载库。这里的库指的是动态链接库，Windows下以.dll为后缀，Linux下以.so为后缀。值得一提的是，在Windows下的动态链接也可以用到.lib为后缀的文件，但这里的.lib文件叫做导入库，是由.dll文件生成的。
动态链接库与静态链接库的区别

  • 后缀命名不同
    win平台下，静态链接库的后缀为.lib,动态链接库的后缀为.dll
    linux平台下， 静态链接库的后缀为.a,动态链接库的后缀为.so

  • 位置存放不同
    动态链接使用动态链接库，允许可执行模块（.dll文件或.exe文件）仅包含在运行时定位DLL中函数的可执行代码所需的信息。
    静态链接使用静态链接库，链接器从静态链接库LIB获取所有被引用函数，并将库同代码一起放到可执行文件中。

  • 静态链接库的使用

    • 需要的文件： 头文件 .h 、静态库 .lib 头文件.h中有函数的声明，使用静态链接库的项目需要引用该文件才能编译通过
    • .lib包含了实际执行代码、符号表等等
    • 加载lib的方法： 法1.使用编译链接参数或者VS的配置属性来设置 法2.使用pragma编译语句，例如pragma comment(lib,“a.lib”)
    • .lib中的指令将全部被直接包含在最终生成的 EXE 文件中

  • 动态链接库的使用

    • 隐式调用
    • 需要的文件： 头文件 .h 、动态链接库的.lib文件，动态链接库的dll文件
    • 头文件.h和静态链接库使用时的作用一样，使用动态链接库中的函数的项目需要引用该文件才能编译通过
    • .lib包含了函数所在的DLL文件和文件中函数位置的信息，.dll包含了实际执行代码、符号表等等
    • 加载lib的方法：lib是编译链接是用的，跟使用静态链接库时一样有两种方法：法1.使用编译链接参数或者VS的配置属性来设置 法2.使用pragma编译语句，例如pragma comment(lib,“a.lib”)
    • 加载dll的方法：dll是运行时用的，链接了lib之后形成的EXE可执行文件中已经有了dll的信息，所以只要把dll放在和exe同一个目录下就可以了，运行时根据EXE需要自动加载dll中的函数
    • 显式调用
    • 需要的文件： 动态链接库的dll文件 不需要.h头文件和.lib文件，因为LoadLibrary之后可以使用getProcAddress来查找一个函数的地址从而调用该函数
    • (显式调用的前提是使用者需要知道想调用的函数的名字、参数、返回值信息，也就是说虽然编译链接用不上.h头文件，但是调用者编程时可能还是要看.h文件作参考来知道函数名字、参数、返回值信息)
Cuda与Cudnn以及Cudatoolikit的区别
参考： 一文弄懂Cuda
  • CUDA：为“GPU通用计算”构建的运算平台。 cudnn：为深度学习计算设计的软件库。
  • CUDA Toolkit (nvidia)：CUDA完整的工具安装包，其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等，CUDA 程序所对应的各式库文件以及它们的头文件。
  • CUDA Toolkit (Pytorch)：CUDA不完整的工具安装包，其主要包含在使用 CUDA 相关的功能时所依赖的动态链接库。不会安装驱动程序。、
  • NVCC 是CUDA的编译器，只是 CUDA Toolkit 中的一部分）
  • Cudnn中包含了用于深度学习加速的动态库，一般需要将解压缩以后的Cudn动态链接库文件复制到cuda文件中，容易遗忘的一个步骤是使用Idconfig将其设置为共享，不然还是没法用。
    注：CUDA Toolkit 完整和不完整的区别：在安装了CUDA Toolkit (Pytorch)后，只要系统上存在与当前的 cudatoolkit 所兼容的 Nvidia 驱动，则已经编译好的 CUDA 相关的程序就可以直接运行，不需要重新进行编译过程。如需要为 Pytorch 框架添加 CUDA 相关的拓展时（Custom C++ and CUDA Extensions），需要对编写的 CUDA 相关的程序进行编译等操作，则需安装完整的 Nvidia 官方提供的 CUDA Toolkit。
神经网络框架（tensorflow/pytorch/）编译时Cuda路径设置问题

  • 查看cuda运行时版本和编译时版本

    # Pytorch 实际使用的运行时的 cuda 目录
import torch.utils.cpp_extension
torch.utils.cpp_extension.CUDA_HOME
# 编译该 Pytorch release 版本时使用的 cuda 版本
import torch
torch.version.cuda

  • pytorch/其他深度学习网络框架寻找cuda的过程

    • 环境变量的作用
    • 存储各种工具、命令的路径，当使用工具或者命令的时候，系统回去PATH中查找对应的工具与命令
    • 当自己下载了某个工具或者自己写了某个可执行程序，想要不加路径直接执行，则需要将该工具、程序的路径添加入PATH中
    • 如何查看环境变量
    • vim ~/.bashrc
    • echo $PATH
    • export
    • pytorch查找可用CUDA的过程
      • 环境变量CUDA_HOME 或 CUDA_PATH
      • /usr/local/cuda
      • which nvcc的上级上级目录（which nvcc 会在环境变量PATH中找）
      • 如果上述都不存在，则torch.utils.cpp_extension.CUDA_HOME为None，会使用conda安装的cudatoolkit，其路径为cudart 库文件目录的上级目录（此时可能是通过 conda 安装的 cudatoolkit，一般直接用 conda install cudatoolkit，就是在这里搜索到 cuda 库的）。
    • CUDA路径设置方式

      • 固定式
        在这里插入图片描述

      • 软链接式

        • bashrc设置
        export CUDA_HOME=/usr/local/cuda 
export PATH=$PATH:$CUDA_HOME/bin 
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
        • cuda版本查看
        	cat /usr/local/cuda/version.txt
CUDA Version 9.0.176
        • cuda 切换
        sudo rm -rf /usr/local/cuda  #删除之前生成的软链接
sudo ln -s /usr/local/cuda-10.1 /usr/local/cuda #生成新的软链接
        • cuda 再查看
        cat /usr/local/cuda/version.txt
CUDA Version 10.1.243
面向神经网络框架的Cuda及Cudnn的安装过程

  1. cuda安装

    • 进入cudnn官网

    • 选择相应版本（需要查找cuda、cudnn与神经网络框架的对应关系），一般选cuDNN Library for Linux (x86_64)，安装简单。
      在这里插入图片描述

    • 解压

      tar -xvf cudnn-11.2-linux-x64-v8.1.1.33.tgz

    • 查看cuda路径

      which nvcc
 
显示
 
/usr/local/cuda-11.1/bin/nvcc

    • 拷贝动态链接库

      cd cuda/
sudo cp include/cudnn* /usr/local/cuda-11.1/include
sudo cp lib64/libcudnn* /usr/local/cuda-11.1/lib64
sudo chmod a+r /usr/local/cuda-11.1/include/cudnn*
sudo chmod a+r /usr/local/cuda-11.1/lib64/libcudnn*

    • 删除解压缩包

      rm -rf cuda

  2. cudnn安装

    • 确定系统内是否装有Nvidia的驱动，驱动版本向下兼容。

    • 去官网下载cuda（使用run方式，比较容易），只需安装cuda toolikit.

      wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda_11.1.0_455.23.05_linux.run
sudo sh cuda_11.1.0_455.23.05_linux.run

    • cuda路径设置，参考第四小节的内容

  3. 共享动态链接库

Idconfig 命令的用途主要是在给定路径中搜索出可共享的动态链接库（格式如 lib*.so*），进而创建出动态装入程序（ld.so）所需的连接和缓存文件。
为了让动态链接库为系统所共享，需运行动态链接库的管理命令ldconfig ，此执行程序存放在/sbin 目录下。 ldconfig 通常在系统启动时运行，而当用户安装了一个新的动态链接库时，就需要手工运行这个命令。
ldconfig 通常在系统启动时运行，而当用户安装了一个新的动态链接库时，就需要手工运行这个命令。

Dr_GHM
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
推理神经网络的小框架-C/C++开发
05-27
简介Synet是一个用于推断CPU上的神经网络的小型框架。 Synet使用先前由其他深度神经网络框架训练的模型。 Synet的主要优点是：Synet比大多数其他DNN更快。简介Synet是一个用于推断CPU上的神经网络的小型框架。 Synet...
神经网络库-C/C++开发
05-26
神经网络库神经网络库是旨在用于研究，开发和生产的深度学习框架。 我们的目标是使其在任何地方运行：台式机，HPC群集，嵌入式设备神经网络库神经网络库是一个深度学习框架，旨在用于研究，开发和生产。 我们的目标...
C++（VS022）调用cuda(cudnn)加速三维卷积计算
qq_45589849的博客
10-21 1372
cuda是NVIDIA官方推出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型任务以及并行计算，在现在的各种机器学习/深度学习框架中使用很多。度神经网络库 (cuDNN) 是一个 GPU 加速的基元库，能够以高度优化的方式实现标准例程（如前向和反向卷积、池化层、归一化和激活层）。我们使用这个库的原因是因为：如果要在C++中使用cuda的并行计算能力，目前我所知的有两条路子：1是按照cuda本身的规则，写cu文件,封装成动态库lib后，在再需要的地方引入，具体的操作步骤可以去；
win10下cuda、cudnn、c++的cuda环境（build tool of Visual Studio 2019）、anaconda的pytorch-gpu环境、gcc编译环境
Hali_Botebie的博客
02-07 869
https://www.cnblogs.com/yuanwei-wu/p/12497030.html 文章目录1.Cuda的下载安装及配置2.CUDNN的下载及配置3.Anacond的介绍4.pytorch-gpu的安装5.安装opencv6.安装numpy等包， 1.Cuda的下载安装及配置 （1）测试本机独立显卡是否支持CUDA的安装 （2）首先打开Pytorch的官网查询目前最新的CUDA版本此处，也可安装旧文件，这里选择最新的版本。然后回到CUDA此处，找到与torch相对应的版本 （4） 接着就
tensorflow各个版本的CUDA以及Cudnn版本对应关系（重点）
热门推荐
Fighting Hua
07-04 1万+
  概述，需要注意以下几个问题： （1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。 CUDA的本质是一个工具包（ToolKit）；但是二者虽然不一样的。 显卡驱动的安装： 当我们使用一台电脑...
CUDA C/C++ 从入门到入土 第一步——让你的CUDA跑起来
supersyzz的博客
07-07 3659
CUDA入门到入土
使用C++从0到1实现人工智能神经网络及实战案例
金戈鐡馬
11-24 2334
神经网络中的计算几乎都可以用矩阵计算的形式表示，这也是我用OpenCV的Mat类的原因之一，它提供了非常完善的、充分优化过的各种矩阵运算方法；f就是我们一直说的激活函数。可以看到已经有了训练的函数train()、测试的函数test()，还有实际应用训练好的模型的predict()函数，以及保存和加载模型的函数save()和load()。的作用是，检验下转换后的矩阵和标签是否对应正确这里是把col(3)，也就是第四个样本从一行重新变成28x28的图像，看上面的第一张图的第一列可以看到，第四个样本的标签是4。
基于C++的 RNN/lstm神经网络算法（不调用外源库）
修行之路
09-17 461
基于C++的 RNN/lstm神经网络算法（不调用外源库）
Ncnn框架在c++的推理及其认识
昊月光华的博客
06-23 4398
入门ncnn学习及其c++的推理
关于pytorch扩展的几个问题
xx_xjm的博客
02-13 1356
一：cuda扩展 涉及到cuda扩展，有关cuda源码（.cu文件）编译的部分需要使用NVIDIA官网提供的CUDAtoolkit工具，一些工程下喜欢使用ninja来对源码进行编译，此时要注意ninja需要cuda的版本至少在10.0以上。（而且，当文件夹下有build.ninja这个文件的时候，表明作者已经把编译的不走给你写好了，直接在该文件夹目录下命令行输入：ninja就可以执行编译了）。扩展的最终目的是生成动态链接库.so文件 二：cuda版本选择问题 pytorch选择cuda版...
反编译工具（DLL 转c/c++ 工具）
09-15
反编译工具（DLL 转c/c++ 工具）； 内有工具使用说明。
OpenNN-开放式神经网络库-C/C++开发
05-26
它实现了神经网络，这是最成功的机器学习方法。 OpenNN的主要优点是其高性能。 该库优于OpenNN OpenNN是用C ++编写的用于高级分析的软件库。 它实现了神经网络，这是最成功的机器学习方法。 OpenNN的主要优点是其高...
ajirs.zip_人工智能/神经网络/深度学习_C++_
08-11
相控阵天线的方向图（切比雪夫加权），LDPC码的完整的编译码，双向PCS控制仿真。
CUDA、Conda、PyTorch三者联系
qq_34499305的博客
11-20 2611
pytorch在运行时，系统安装的cuda与conda环境下安装的cudatoolkit之间的联系与不同
Cuda版本不一致，编译apex报错
hejunran的博客
07-06 1595
apex编译遇到cuda版本不匹配问题
WIN10+CUDA10.0+CUDNN7.6.5+Tensorflow1.14 编译及C++调用
entir的博客
04-22 2670
WIN10+CUDA10.0+CUDNN7.6.5+Tensorflow1.14 编译及C++调用欢迎使用Markdown编辑器参考预备环境Bazel编译VS2019调用调用代码测试结果 欢迎使用Markdown编辑器 最近需要在C++中调用Tensorflow训练好的Pb模型进行推理，查了一下现有的编译攻略，windos下写的比较详细的最高也只到了Tensorflow1.13.1（后文会说到具体...
CUDA环境详解
weixin_44966641的博客
03-27 7805
CUDA环境详解 本文主要介绍 CUDA 环境，这一堆东西网上有很多博客介绍过了，我再来一篇:)，参考前辈们的文章，看能不能写的更清楚一点。读后仍有问题，欢迎留言交流。 CUDA APIs CUDA是由NVIDIA推出的通用并行计算架构，通过一些CUDA库提供了一系列API供应用程序调用。开发者可调用这些API充分利用GPU来处理图像，视频解码等。 CUDA 的 API 其实是可以分层次来理解的，这也造成了有时会出现 nvcc -V 显示的 CUDA 版本和 nvidia-smi 显示的 CUDA 版本不一
【环境】pytorch选择cuda的顺序【关于cudatoolkit和/usr/local/cuda】
qq_41094058的博客
12-30 3788
分为编译时的查找顺序和执行时的查找顺序 编译时的查找顺序由 torch/utils/cpp_extension.py的_find_cuda_home()决定。 执行的查找顺序由动态库的搜索路径决定
python复习（三）
最新发布
qq_43710593的博客
04-29 496
类是一种面向。
CUDA编译如何链接到C++17标准库
07-14
在上面的命令中，`-L/path/to/cuda/libs`用于指定CUDA库的路径，`-lcudart`用于链接CUDA运行时库，`-lstdc++`用于链接C++标准库，`-lm`用于链接数学库（如果需要）。 请注意，确保你的系统上已经正确安装了CUDA和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值