学习OpenCL与卷积神经网络 Day2——OpenCL主程序简单框架的构建

最新推荐文章于 2024-01-30 14:04:01 发布
最新推荐文章于 2024-01-30 14:04:01 发布
阅读量376 收藏
点赞数 1
分类专栏： OpenCL 文章标签： opencl 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31049419/article/details/110998317
版权

目录

简易程序介绍

今天我们就拿一个简单矩阵做例子
在这里插入图片描述
我们在C语言(主机上)跑一次，在CL核中跑一次，然后对比其计算结果，若计算值相同则输出结果。

CL核程序

程序很简单，就是通过dot()函数进行简单的矩阵相乘运算

__kernel void mac(__global float4*matrix,
	__global float4*vector,
	__global float* result)
{
	int i = get_global_id(0);
	result[i] = dot(matrix[i], vector[0]);
}

CL程序这里就不多加赘述

主程序分步

首先我们要对各部件进行定义

    cl_platform_id	platform_id = NULL;
	cl_uint			ret_num_platforms;
	cl_device_id	device_id = NULL;
	cl_uint			ret_num_devices;
	cl_context		context = NULL;
	cl_command_queue command_queue = NULL;
	cl_mem  mat_buff = NULL;
	cl_mem  vec_buff = NULL;
	cl_mem  res_buff = NULL;
	cl_program		program = NULL;
	cl_kernel		kernel = NULL;
	size_t			kernel_code_size;
	char			*kernel_str;
	cl_int			ret;
	FILE			*fp;
	size_t work_units_per_kernel;

这里对平台/(数量)、设备/(数量)、上下文、命令、缓存、程序、内核等进行了定义
接下来我们要对矩阵进行定义并计算

float mat[16], vec[4], result[4];
	float correct[4] = { 0.0f ,0.0f,0.0f,0.0f };
for (int i = 0; i < 16; i++)
	{
		mat[i] = i * 2.0f;
	}
	for (int i = 0; i < 4; i++)
	{
		vec[i] = i * 3.0f;
		correct[0] += mat[i] * vec[i];
		correct[1] += mat[i + 4] * vec[i];
		correct[2] += mat[i + 8] * vec[i];
		correct[3] += mat[i + 12] * vec[i];
	}

至此主程序中的矩阵计算已经结束了，接下来是对OpenCL程序的设计
首先是获取连接上下文的平台及设备，以及上下文的创建

kernel_str = (char *)malloc(MAX_SOURCE_SIZE);
	ret = clGetPlatformIDs(1, &platform_id, &ret_num_platforms);
	ret = clGetDeviceIDs(platform_id, CL_DEVICE_TYPE_DEFAULT, 1, &device_id,
		&ret_num_devices);
	context = clCreateContext(NULL, 1, &device_id, NULL, NULL, &ret);

然后是创建命令队列

command_queue = clCreateCommandQueue(context, device_id, 0, &ret);

接下来是对内核文件的读取

fp = fopen("Conv2D.cl", "r");
	kernel_code_size = fread(kernel_str, 1, MAX_SOURCE_SIZE, fp);
	fclose(fp);

我这里用了很简单的一步结束了，正常情况下我们还可以采取fseek和rewind及fread函数来获取内核文件，比如像这样

fp = fopen(PROGRAM_FILE, "r");
	fseek(fp, 0, SEEK_END);
	program_size = ftell(fp);
	rewind(fp);
	kernel_str = (char*)malloc(program_size + 1);
	kernel_str[program_size] = '\0';
	fread(kernel_str, sizeof(char), program_size,fp);
	fclose(fp);

接下来是编译程序

program = clCreateProgramWithSource(context, 1, (const char **)&kernel_str,
		(const size_t *)&kernel_code_size, &ret);
	ret = clBuildProgram(program, 1, &device_id, NULL, NULL, NULL);

创建内核

kernel = clCreateKernel(program, "mac", &ret);

CreateBuffer

mat_buff = clCreateBuffer(context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR, sizeof(float) * 16, mat, &ret);
	vec_buff = clCreateBuffer(context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR, sizeof(float) * 4, vec, &ret);
	res_buff = clCreateBuffer(context, CL_MEM_WRITE_ONLY, sizeof(float) * 4, NULL, &ret);

以及设置内核参数

clSetKernelArg(kernel, 0, sizeof(cl_mem), &mat_buff);
	clSetKernelArg(kernel, 1, sizeof(cl_mem), &vec_buff);
	clSetKernelArg(kernel, 2, sizeof(cl_mem), &res_buff);

设置完一切之后呢，最重要的一步不能落下！没错，执行！

work_units_per_kernel = 4;
	clEnqueueNDRangeKernel(command_queue, kernel, 1, NULL, &work_units_per_kernel, NULL, 0, NULL, NULL);

然后我们再用clEnqueueReadBuffer函数将缓存中的信息读出来

clEnqueueReadBuffer(command_queue, res_buff, CL_TRUE, 0, sizeof(float) * 4, result, 0, NULL, NULL);

差点忘了，我们在做验证来着，那就还有一步

if ((result[0] == correct[0]) && (result[1] == correct[1]) && (result[2] == correct[2]) && (result[3] == correct[3]))
	{
		printf("Correct!");
		printf("\n");
		for (int i = 0; i < 4; i++)
		{
			printf("%f\t", result[i]);
		}
	}

如果内核运行数据结果与主程序中计算结果相同，则输出结果如下图
在这里插入图片描述

整合程序


#include<stdio.h>
#include<stdlib.h>
#include<CL/cl.h>
#include<string.h>
#include <iostream>  

#define MAX_SOURCE_SIZE (0x10000)
#pragma warning(disable : 4996)
int main(void)
{

	cl_platform_id	platform_id = NULL;
	cl_uint			ret_num_platforms;
	cl_device_id	device_id = NULL;
	cl_uint			ret_num_devices;
	cl_context		context = NULL;
	cl_command_queue command_queue = NULL;
	cl_mem  mat_buff=NULL;
	cl_mem  vec_buff=NULL;
	cl_mem  res_buff=NULL;
	cl_program		program = NULL;
	cl_kernel		kernel = NULL;
	size_t			kernel_code_size;
	char			*kernel_str;
	cl_int			ret;
	FILE			*fp;
	size_t work_units_per_kernel;
	float mat[16], vec[4], result[4];
	float correct[4] = { 0.0f ,0.0f,0.0f,0.0f };
	

	for (int i = 0; i < 16; i++)
	{
		mat[i] = i * 2.0f;
	}
	for (int i = 0; i < 4; i++)
	{
		vec[i] = i * 3.0f;
		correct[0] += mat[i] * vec[i];
		correct[1] += mat[i + 4] * vec[i];
		correct[2] += mat[i + 8] * vec[i];
		correct[3] += mat[i + 12] * vec[i];
	}


	kernel_str = (char *)malloc(MAX_SOURCE_SIZE);
	ret = clGetPlatformIDs(1, &platform_id, &ret_num_platforms);
	ret = clGetDeviceIDs(platform_id, CL_DEVICE_TYPE_DEFAULT, 1, &device_id,
		&ret_num_devices);
	context = clCreateContext(NULL, 1, &device_id, NULL, NULL, &ret);
	command_queue = clCreateCommandQueue(context, device_id, 0, &ret);
	fp = fopen("Conv2D.cl", "r");
	kernel_code_size = fread(kernel_str, 1, MAX_SOURCE_SIZE, fp);
	fclose(fp);
	program = clCreateProgramWithSource(context, 1, (const char **)&kernel_str,
		(const size_t *)&kernel_code_size, &ret);
	ret = clBuildProgram(program, 1, &device_id, NULL, NULL, NULL);
	kernel = clCreateKernel(program, "mac", &ret);
	mat_buff = clCreateBuffer(context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR, sizeof(float) * 16, mat, &ret);
	vec_buff = clCreateBuffer(context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR, sizeof(float) * 4, vec, &ret);
	res_buff = clCreateBuffer(context, CL_MEM_WRITE_ONLY, sizeof(float) * 4, NULL, &ret);
	clSetKernelArg(kernel, 0, sizeof(cl_mem), &mat_buff);
	clSetKernelArg(kernel, 1, sizeof(cl_mem), &vec_buff);
	clSetKernelArg(kernel, 2, sizeof(cl_mem), &res_buff);
	//execute kernel
	work_units_per_kernel = 4;
	clEnqueueNDRangeKernel(command_queue, kernel, 1, NULL, &work_units_per_kernel, NULL, 0, NULL, NULL);
	//read from buffer
	clEnqueueReadBuffer(command_queue, res_buff, CL_TRUE, 0, sizeof(float) * 4, result, 0, NULL, NULL);
	//verify
	if ((result[0] == correct[0]) && (result[1] == correct[1]) && (result[2] == correct[2]) && (result[3] == correct[3]))
	{
		printf("Correct!");
		printf("\n");
		for (int i = 0; i < 4; i++)
		{
			printf("%f\t", result[i]);
		}
	}
	//releasememobject

	clReleaseKernel(kernel);
	clReleaseCommandQueue(command_queue);
	clReleaseProgram(program);
	clReleaseContext(context);

	return 0;
}

（注：这里加上#pragma warning(disable : 4996)是因为OpenCL的版号不同，有些函数不支持）

今日试错心得

在编译程序的时候最好加上一个ret返回值，这样可以通过阅读error表来找到自己是哪出错了
在这里插入图片描述

比如我今天就这（-45）程序未能成功地构建命令队列关联设备上的一个可执行程序 卡了好久，最后干脆重新写了一遍程序才发现问题所在。这个网址csdn上也有链接: link.
然后编写每个函数的时候打完一个逗号都会有每个属性提示，今天因为没有看清是指针类型出了好多BUG，今后也会注意的。
= =今天试了挺多程序，想熟练下OpenCL编程的框架，结果BUG太多没时间去理卷积模型。
只能把希望寄托在明天了哈哈哈哈

Ivan'yang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Neural_Network:使用OpenCL模拟人工神经网络
05-06
神经网络 使用OpenCL模拟人工神经网络。
PipeCNN：用于卷积神经网络的基于OpenCL的FPGA加速器
02-04
PipeCNN：用于卷积神经网络的基于OpenCL的FPGA加速器
学习OpenCL与卷积神经网络 Day1——对OpenCL与CNN的简单认识
不偷懒会死星人的blog
12-09 1315
目录自学工具自学用电子书自学用课程自学用平台关于OpenCL平台模型执行模型内核上下文命令队列存储器模型存储器类型存储器对象关于卷积神经网络(CNN)目的与用途构造卷积层(Convolution)池化层(Pooling)全连接层(FC layer)关于将OpenCL与CNN相结合的想法简单程序构建 自学工具 自学用电子书 OpenCL异构计算 OpenCL编程指南 OpenCL异构并行计算原理、机制与优化 自学用课程 [link]https://www.coursera.org/learn/opencl-f
世界上首个支持opencl 的神经网络框架
东方佑
01-30 234
平台无关性：OpenCL是一个跨平台的开放标准，可以在多种计算设备上运行，包括CPU、GPU和FPGA等。这意味着你可以在不同的硬件平台上使用相同的代码，而不需要为每个平台开发特定的代码。开放性和可扩展性：OpenCL是一个开放的标准，用户可以轻松地实现和使用自己的OpenCL库。高性能计算：OpenCL利用GPU等并行处理器的强大计算能力，能够实现高性能的神经网络计算。总之，支持OpenCL神经网络框架可以带来平台无关性、高性能计算、灵活性和开放性等好处，能够帮助用户更好地开发和部署神经网络模型。
神经网络变得轻松（第五部分）：OpenCL 中的多线程计算
herzqt的博客
06-25 581
概述在之前的文章中，我们讨论过某些类型的神经网络实现。 如您所见，神经网络由大量相同类型的神经元组成，并在其中执行相同的操作。 然而，网络拥有的神经元越多，它消耗的计算资源也就越多。 结果就是，训练神经网络所需的时间呈指数增长，这是因为在隐藏层添加一个神经元，需要了解上一层和下一层中所有神经元的连接。 有一种减少神经网络训练时间的方法。 现代计算机的多线程功能可以同时计算多个神经元。 由于线程数量的增加，时间将可预见地大大减少。 1. MQL5 中如何组织多线程计算MetaTrader 5 终端具有多线程体
神经网络变得轻松：OpenCL 中的多线程计算
herzqt的博客
06-09 1554
在之前的文章中，我们讨论过某些类型的神经网络实现。如您所见，神经网络由大量相同类型的神经元组成，并在其中执行相同的操作。然而，网络拥有的神经元越多，它消耗的计算资源也就越多。结果就是，训练神经网络所需的时间呈指数增长，这是因为在隐藏层添加一个神经元，需要了解上一层和下一层中所有神经元的连接。有一种减少神经网络训练时间的方法。现代计算机的多线程功能可以同时计算多个神经元。由于线程数量的增加，时间将可预见地大大减少。
OpenCL——OpenCL的基本介绍
02-24
2008年，苹果公司向KhronosGroup提交了一份关于跨平台计算框架的草案，该草案由苹果公司开发，并与AMD、IBM、Intel和NVIDIA公司合作逐步晚上。这个跨平台计算框架就是OpenCL。20088年12月8日，OpenCL1.0技术规范发布...
DeepCL, 训练深层卷积神经网络的OpenCL库.zip
09-18
DeepCL, 训练深层卷积神经网络的OpenCL库 DeepCLpython API命令行 APIC APIq 学习。来生成开发工具更改失败 DeepCL面向大规模卷积网络的OpenCL库C OpenCL深层卷积python 包装器Lua包装器q
PipeCNN：用于卷积神经网络的基于OpenCL的开源FPGA加速器
03-08
PipeCNN：用于卷积神经网络的基于OpenCL的开源FPGA加速器
windows下使用libtorch对yolov5模型重构(CPU和GPU双版本)
ljl199584的博客
11-11 3426
首先是对项目的环境配置 win10 libtorch1.6 debug版本本文使用的cpu版本使用release或者gpu版本的自己设置就可以 opencv4.1 1.将opencv和libtorch的包含目录 2第二步引入库目录 3第三步骤引入动态链接库这里列一个清单其实libtorch只要三个就可以加上opencv的dll一个四个可以自己选择 c10.lib asmjit.lib caffe2_detectron_ops_gpu.lib torch.lib torc...
支持OpenCL的GPU加速人工神经网络训练
06-08
工神经网络训练所包含的运算量随着网络中神经元的数量增多而加大，对于神经元较多的网络训练 很耗时。提高人工神经网络训练速度的一个方法是对训练算法优化以减少计算量。由于人工神经网络训练算法 包含大量的矩阵和向量运算，如果把优化的算法用运行在GPU上的OpenCLC语言实现，则训练速度相比传统 基于CPU计算的实现会提高很多。从硬件的并行计算能力着手，以RPROP算法为例，对其运行在GPU上的 OpenCLC语言实现作一些研究。
clnn, 面向 Torch 神经网络神经网络的OpenCL.zip
10-10
clnn, 面向 Torch 神经网络神经网络的OpenCL clnn面向 Torch 神经网络神经网络的OpenCL 。安装请参见发行版 cl 安装说明。什么作品参数化模块nn.Linear基本张量方法这些主要是'工作'，因为基于底层张量方法，已经在 cltorch 实现。 测
卷积神经网络中卷积的OpenCL实现
纸上谈芯的专栏
07-21 5084
卷积神经网络中卷积的OpenCL实现  ============================================================== 目录 1、卷积 2、卷积与图像处理 3、卷积的OpenCL实现 4、总结  ============================================================== 本文主要介绍深度...
OpenCL Dot Product
既然选择了远方 便只顾风雨兼程 - 永强
07-10 766
OpenCL Dot Product 1. OpenCL Dot Product Dot Product (scalar product) of set of input vector pairs. Implemented in OpenCL for CUDA GPU’s, with functional comparison against a simple C++ host CPU implementation. 输入向量对的点积 (标量积)。在针对 CUDA GPU 的 OpenCL 中实现，并与简单
OpenCL主要内容
qq_40553788的博客
06-11 182
OpenCL的编程模型是基于任务的并行编程模型，开发人员需要将计算任务分解为多个并行执行的子任务。编程模型：OpenCL提供了一种基于任务的并行编程模型，允许开发人员将计算任务分解为多个并行执行的子任务。运行时系统：OpenCL运行时系统负责管理计算设备和任务执行，包括任务调度、内存管理、错误处理等。API：OpenCL提供了一组API，用于管理计算设备、创建和执行计算任务、传输数据等。编译器：OpenCL编译器将OpenCL代码转换为可在计算设备上执行的二进制代码。
基于OpenCL的多维卷积计算实现
noobkiller
04-17 792
本文介绍了如何使用OpenCL实现卷积运算，文中给出了相应的代码，介绍了设计思路，给出了性能分析结果。
OpenCL并行编程框架应用分析【高性能计算导论课程作业】
hhyer的博客
01-26 822
title: OpenCL并行编程框架【高性能计算导论课程作业】 date: 2022-01-19 16:58:31 tags: HPC OpenCL环境安装配置 由于我使用的机器是MacBook Pro 2020，mac系统里面已经集成了OpenCL的SDK，所以不需要去另外下载，只需要在Xcode工程中将其加入进来就可以进行OpenCL的开发了。下面展示的是工程文件中配置OpenCL环境的过程。 （1）首先在Xcode工程文件的Build Phases下导入OpenCL的库文件。 （2）导入后，就可以.
[OpenCL] 主机编程：数据传输和分区(12)
unity尧明的博客
04-01 627
3.6 数据分区   如果您使用 OpenCL 实现算法，您可能需要处理大量数据。 这使得数据分区成为一个重要的优先事项——处理负载分配得越好，计算任务就会越早完成。   您已经知道如何在多个设备之间划分数据，但您可以进一步划分数据。 大多数 OpenCL 设备包含多个处理元素，并且使用正确的代码，您可以控制每个处理元素接收的数据量。   只有一个函数需要知道：clEnqueueNDRangeKernel。 这是 OpenCL API 中最重要的功能之一，也是最复杂的功能之一。 与 clEnqueueTas
OpenCL框架
生活需要深度
03-03 274
OpenCL(Open Computing Language，开放计算语言）：从软件视角看，它是用于异构平台编程的框架；从规范视角看，它是异构并行计算的行业标准，由Khronos Group来维护；异构平台包括了CPU、GPU、FPGA、DSP，以及最近几年流行的各类AI加速器等；OpenCL包含两部分：1）用于编写运行在OpenCL device上的kernels的语言（基于C99）；2）OpenCL API，至于Runtime的实现交由各个厂家，比如Intel发布的。
我想学习opencl，我应该怎么学习
最新发布
04-18
2. 学习OpenCL编程模型：掌握OpenCL的编程模型是学习OpenCL的关键。了解如何创建和管理计算设备、上下文、命令队列和内核函数等概念，以及如何将计算任务分配给不同的计算设备进行并行计算。 3. 掌握OpenCL的语言和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ivan'yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值