opencl加速_推出新 OpenCL 后端：优化移动 GPU 推理性能

最新推荐文章于 2024-06-12 23:21:46 发布
最新推荐文章于 2024-06-12 23:21:46 发布
阅读量408 收藏
点赞数
文章标签： opencl加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39834205/article/details/111676032
版权
8e7767df11e686aaf2771ce5f5921eb7.gif

文 / 软件工程师 Juhyun Lee 和 Raman Sarokin

TensorFlow Lite (TFLite) GPU 团队在不断改进现有基于 OpenGL 的移动 GPU 推理引擎，同时我们也在不断研究其他技术。在我们所开展的实验中，有一个实验相当成功。在此，我们很高兴地为 Android 推出基于 OpenCL 的移动 GPU 推理引擎，与现有的 OpenGL 后端相比，对适当大小的神经网络(为 GPU 提供足够的工作负载)，能够提供高达 2 倍的加速。

619223f4f7b353b0ef118e66f02fe45f.gif

图 1. OpenCL 后端可为 Duo 的 AR 特效提供技术支持

对 OpenGL 后端的改进

一直以来，OpenGL 都是为渲染矢量图形而打造 API。我们已在 OpenGL ES 3.1 中添加计算着色器 (Compute shaders)，但限于其向后兼容的 API 设计限制，无法发挥出 GPU 的全部潜力。另一方面，OpenCL 本就是为在不同加速器上开展计算工作而设计的，因而与移动 GPU 推理领域尤为相关。因此，我们研究出了基于 OpenCL 的推理引擎

最低0.47元/天 解锁文章
weixin_39834205
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OpenCL 性能分析事件、工作项同步化
INFINALGEORGE的博客
04-29 1426
1.性能事件分析 1.1配置性能分析命令 为了获得一条命令的时序信息，需要分别做以下三步： 在用clCreateCommandQueue函数创建命令队列时，设置CL_QUEUE_PROFILING_ENABLE标志； 将cl_event所要进行性能分析的命令关联起来。如前所述，这可以将事件的指向设为入列命令的函数的最后一个参数。 在执行完后，调用clGetEventProfilingInfo函数来...
OpenCL、OpenGL 同时工作
xpp02的专栏
10-26 405
视频处理如果能使用OpenCL、OpenGL、omap将大量提高运算速度，简单介绍OpenCL、OpenGL 同时工作。 OpenCL和OpenGL都能用于操作GPU，但是前者主要用于通用计算，而后者主要用于图像渲染。在某些情况下，我们希望能用OpenCL计得到算图像，然后展示在显示器上。如果直接调用OpenGL的现有API，则需要把计算得到的结果通过pci-e总线传回host端内存...
OpenCL Memory优化
恍恍惚惚的大穷猫的博客
10-26 873
Memory的访问效率往往决定着整个kernel的性能，最小化global memory访问次数在优化OpenCL代码时是非常有效的。Memory主要有以下几种：global, constant, local以及private。互联拓扑结构将共享的global内存，constant内存，local内存系统连接到他们的基础内存下，同时互联也包含对memory端口的访问仲裁。 Memory的访问会争夺共享内存资源，如果kernel中执行大俩个的内存访问，那么必须生成负责的仲裁逻辑处理内存访问请求，会导致fMax
全面解析找不到opencl.dll无法继续执行代码的原因及解决方法
最新发布
weixin_57940283的博客
06-12 1091
用户只需打开回收站，寻找是否有opencl.dll文件，如果找到，通过右键点击选择“还原”，系统会自动将文件恢复到原来的位置。3. 病毒或恶意软件感染：有时候，我们的计算机可能会被病毒或恶意软件感染，这些恶意程序可能会破坏系统文件，包括opencl.dll文件。1. 缺少OpenCL运行时库：如果我们的计算机上没有安装OpenCL运行时库或者该库文件损坏，系统就无法找到正确的opencl.dll文件，从而出现开机提示。运行该程序，点击一键修复，它将自动扫描并修复系统中缺失或损坏的DLL文件。
OpenCL的多GPU开发（顺便提一下OpenGL的多GPU开发）
hust_sheng的专栏
07-23 4570
OpenCL的多GPU开发（顺便提一下OpenGL的多GPU开发）标签（空格分隔）：加速 opencl需求在某些加速优化项目中会使用到GPU，且为了追求速度，有时候我们会使用多块GPU。就OpenCL而言，如何充分利用多个GPU的运算能力十分关键。 多线程（以两个GPU为例） //传入图像数据 errNum = clEnqueueWriteImage(commandQueue_1stGPU, img
OpenCL 通用编程与优化（6）
weixin_38498942的博客
02-16 782
OpenCL 通用编程与优化（6）
OpenCL 通用编程与优化（1）
weixin_38498942的博客
02-09 776
OpenCL 通用编程与优化(1)
yolov3_opencl.zip
12-17
OpenCL的使用是为了将YOLOv3的计算任务分布到GPU或其他加速器上，以利用其并行计算能力，加快模型的推理速度。OpenCL提供了一个跨平台的编程接口，允许开发者编写一次代码，然后在多种硬件上运行，这对于实现高性能...
钉头锤：MACE是针对移动异构计算平台优化的深度学习推理框架
02-04
移动AI计算引擎（简称MACE ）是针对Android，iOS，Linux和Windows设备上的移动异构计算而优化的深度学习推理框架。 该设计着重于以下目标： 性能 使用NEON，OpenCL和Hexagon对运行时进行了优化，并引入了以加快...
i.MX6Q_OpenCL_include_and_lib
12-03
2. **i.MX6Q与OpenCL**：i.MX6Q SoC内置的图形处理单元（GPU）可以支持OpenCL，通过OpenCL，开发者可以利用GPU的并行计算能力来加速图像处理、机器学习等计算密集型任务。这对于移动设备和嵌入式系统的性能提升尤其...
Neural_Network:使用OpenCL模拟人工神经网络
05-06
OpenCL（Open Computing Language）则是一个跨平台的并行编程框架，用于加速计算密集型任务，如在GPU（图形处理器）上执行神经网络的计算。 **OpenCL简介** OpenCL为开发者提供了一种在多种架构（包括CPU、GPU、...
拉伸：为GEMM和张量收缩扩展GPU性能
02-23
标题中的“拉伸”(Tensile)是一个专为GPU性能优化设计的开源库，主要关注于矩阵乘法(GEMM)以及N维张量收缩等计算密集型任务。GEMM，全称Generalized Matrix Multiply，是线性代数中最基础的操作之一，广泛应用于机器...
NeuroG：GPU加速的基于OpenGL的神经网络
02-15
欢迎来到NeuroG！ NeuroG是超轻GPU加速的神经元网络。 该体系结构最简单也最简单-带有tanh作为激活功能的多层感知器。 安装 安装过程与集成在一起，请链接详细说明。 简而言之，您可以执行以下操作： # define IR_IMPLEMENT # include < neurog> 依存关系 NeuroG完全基于 ，因此请点击链接以了解有关安装，依赖项和平台的更多信息。 NeuroG可能会在支持OpenGL API> 3.0的每台设备上进行较小的更改。 文献资料 该代码是相当自我记录的。 但更重要的是，我提供了文档！ 由于我不是专家，它看起来不太漂亮，但是仍然很有用。 当然，请随时与我联系！ PS我的代码不脏，它还是干净的。
OpenCL内存性能优化 (2)
weixin_38498942的博客
05-20 1465
OpenCL内存性能优化 （2）7.1.4 全局内存7.1.4.1 缓冲区7.1.4.2 图片7.1.4.3 使用图像对象与缓冲区对象7.1.4.4 图像和缓冲区对象的使用7.1.4.5 全局内存与本地内存7.2 最佳内存加载/存储7.2.1合并的内存加载/存储7.2.2 矢量化加载/存储7.2.3 最佳数据类型7.2.4 16位浮点（半）与32位浮点7.3 原子功能 7.1.4 全局内存 OpenCL应用程序可以使用两种类型的全局内存对象，即缓冲区和映像，并且都使用片外系统RAM。 与缓冲区对象（它是存储
TensorFlowLite GPU加速
最爱吹吹风
12-02 2103
TF LITE支持移动端GPU加速，特别对android端的支持比较丰富。相对android来说，对IOS的支持就有点差了。从给出的文档也能看出，android的文档也比IOS的丰富。 TF LITE明确只支持android和ios端，而且在不同的系统上会有不同表现。即便是可以用GPU，也有可能是部分操作可以应用GPU加速，部分依旧在CPU上，这要看具体系统对GPU操作的支持。TF LITE在运行时会给出log 引用官方的解释: 不支持的模型和 ops 如果一些 ops 并不支持 GPU 代理
linux下cpu opencl加速,CPU运行速度比GPU快(OpenCL代码)
weixin_28788593的博客
05-13 825
我在OpenCL中编写了一个代码来查找前5000个素数.这是代码:__kernel void dataParallel(__global int* A){A[0]=2;A[1]=3;A[2]=5;int pnp;//pnp=probable next primeint pprime;//previous primeint i,j;for(i=3;i<5000;i++){j=0;pprime=...
OpenCL入门：(三：GPU内存结构和性能优化)
weixin_34336526的博客
08-20 673
如果我们需要优化kernel程序，我们必须知道一些GPU的底层知识，本文简单介绍一下GPU内存相关和线程调度知识，并且用一个小示例演示如何简单根据内存结构优化。 一、GPU总线寻址和合并内存访问 假设X指向一个32位整数数组的指针，数组首地址是0x00001232，那么一个线程需要访问第0个成员时是也许是如下访问的： int tmp = X[0] 假设内存总线宽度是256位，内存访问时必须...
c# 利用opencl 来进而实现GPU加速计算
zhangzhechun的专栏
03-31 1639
在上面的代码中，我们首先初始化了一个OpenCL上下文，并加载了一个名为MyKernel的OpenCL核函数。接着，在Calculate方法中，我们将输入数据和输出数据复制到OpenCL缓冲区中，并设置OpenCL核函数的参数。最后，我们将结果从OpenCL缓冲区复制到主机内存中，并释放OpenCL缓冲区。在上面的示例代码中，我们使用了OpenCL.Net库来与OpenCL进行交互。这个库提供了C#封装的OpenCL API，让我们能够在C#中方便地使用OpenCL进行加速。
GDAL使用OpenCL开启GPU加速
GIS小虫的博客
05-17 2650
需要 GDAL源码 OpenCL Visual Studio SQLite（可选） PROJ（可选） 1、查看自己电脑的显卡配置支不支持OpenCL 方法很多，可以自行百度。我是下载TechPowerUp GPU-Z（点击链接进入下载页）查看OpenCL项目前有没打勾 2、安装OpenCL 可以使用Intel，Nvidia官网都能下，也能用CUDA里带的。我用的Intel家的Intel® SDK for OpenCL，选择符合你本地系统的SDK下载（需要自行注册账号），安装。 安装过程没啥需要注意的，
3-4+MNN+——+功能完备的推理引擎.pdf
03-18
“3-4+MNN+——+功能完备的推理引擎.pdf”是关于淘宝技术分享的一份文档，重点介绍...MNN作为一个功能完备的推理引擎，致力于解决端侧推理的通用性、性能和效率问题，为移动设备和物联网设备提供了强大的模型执行能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值