SparkCL简介

最新推荐文章于 2024-01-29 16:03:54 发布
最新推荐文章于 2024-01-29 16:03:54 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： OpenSource-SparkCL 文章标签： spark gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hallao0/article/details/66476666
版权

SparkCL源码链接

Spark + Aparapi = SparkCL

  • 其中Spark都很熟悉了，是云计算框架，将Hadoop 里的Mapreduce优化了。
  • Aparapi 是Java版的Opencl，不用JavaCL的原因是，JavaCL需要更多底层的操作，而我们的目的只是调用一下GPU进行计算，并不管具体GPU并行的事情。另外，Aparapi有一个容错机制，就是如果没有检测到GPU硬件的话，就会返回给JVM来运行(在源码KernelRunner.java 333行)。

SparkCL的改进

经过example里代码的对比，可以发现:SparkCL是通过自定义mapCL函数或者reduceCL函数来实现GPU并行。也就是说，sparkCL通过自定义mapCL/ reduceCL改写transformation。

其中mapCL/ reduceCL 里自定义funcX函数，这个函数在spark kernel实例化的时候，可以动态调用具体的mapParameter函数和mapReturnValue函数。mapParameter主要是set GPU参数，比如Range，mapReturnValue是执行具体的任务。

最后mapCL/ reduceCL 再调用spark的map(funX)和reduce(funX)

以下是mapCL代码：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  hallao0
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Aparapi 学习笔记1

				
			

			

				

					hallao0的博客
				

				

					04-01
					
					1480
					
				

			

		

		

			
				
github链接 
Aparapi 主要是用jni调用openCL封装库, 有点像javacv和opencv的感觉,那么我为什么不用JavaCL呢，因为SparkCL用的是Aparapi,所以惯性惰性就用这个了。（有人说javaCL更多底层调用，Aparapi注重high-level的）Kernel.java最核心的就是这个，sparkCL也是通过override这里面的run函数来实现的。 
另外

			
		

	



                

              
                



	

		

			

				
					
SparkCL框架知识

				
			

			

				

					11-24
				

			

		

		

			
				
SparkCL，是基于大数据中GPU运行的框架，他是在spark的基础的，对spark中的map以及reduce所进行的改进，也就是说，sparkCL通过自定义mapCL/ reduceCL改写transformation。
其中mapCL/ reduceCL 里自定义funcX函数，这个函数在spark kernel实例化的时候，可以动态调用具体的mapParameter函数和mapReturnValue函数。mapParameter主要是set GPU参数，比如Range，mapReturnValue是执行具体的任务

			
		

	



                


  
              

                


	

		

			

				
					
SparkCL

				
			

			

				

					Fortuna_i的博客
				

				

					09-12
					
					752
					
				

			

		

		

			
				
原文：《SparkCL: A Unified Programming Framework for Accelerators on Heterogeneous Clusters》

翻译：

概要：我们提出SparkCL，这是一个基于Java、OpenCL和Apache Spark框架的开放源码统一编程框架。这项工作的动机是将诸如fpgas/gpus/apus/DSPs等非传统的计算核心，以及未来的...

			
		

	





	

		

			

				
					
SparkCL 源码分析（一）

				
			

			

				

					hallao0的博客
				

				

					03-16
					
					534
					
				

			

		

		

			
				
SparkCL-Example : SparkCLPi.java主要代码：    JavaSparkContext jsc = new JavaSparkContext(sparkConf);    int count = (int) method.invoke(null,jsc, slices, sliceSize);    System.out.println("Pi is roughly "

			
		

	



		

			
		



	

		

			

				
					
SparkCLPi

				
			

			

				

					Fortuna_i的博客
				

				

					09-12
					
					568
					
				

			

		

		

			
				
SparkCL给出了三个Demo，分别是SparkCLPi、SparkCLVectorAdd、SparkCLWordCount

源码地址：https://gitlab.com/mora/spark-ucores

用于求π的源码解析如下：

源码所采用求π算法思路：



x,y去0~1的随机数，做简单变换X,Y变为（-1~1），返回统计结果中在圆形内部点的概率占正方形的比例，即图中圆面积除以正...

			
		

	





	

		

			

				
					
SparkCL VectorAdd

				
			

			

				

					Fortuna_i的博客
				

				

					10-30
					
					495
					
				

			

		

		

			
				
SparkCL给出了三个Demo，分别是SparkCLPi、SparkCLVectorAdd、SparkCLWordCount

源码地址：https://gitlab.com/mora/spark-ucores

用于求向量相加的源码较为简单：

算法思路：求向量和a[] = b[] + c[]，将其中对应元素相加赋给新数组即可。

对比SparkCLPi，VectorAdd中使用了reduce...

			
		

	





	

		

			

				
					
在Macbook上基于OpenCL运行Spark

				
			

			

				

					weixin_34310785的博客
				

				

					01-07
					
					223
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
GPU并行编程基础与Aparapi入门实战

				
			

			

				

					Zeroowt的博客
				

				

					04-15
					
					1591
					
				

			

		

		

			
				
文章目录0. 绪1. GPU相关基础概念2.OpenCL编程基础3. Aparapi编程入门
0. 绪
最近项目需要使用GPU进行并行计算，作为不会C++的垃圾只能找Java语言操作的GPU api，目前亲测可使用的有JCuda、JOCL和Aparapi，其中JCuda中支持Nvidia的显卡上，JOCL使用相对Aparapi更麻烦，所以选择了Aparapi…
CUDA：https://www.j...

			
		

	





	

		

			

				
					
【Java万花筒】Java引擎加速：GPU计算与并行处理库助力你的应用翱翔

					
最新发布

				
			

			

				

					记录我的学习历程
				

				

					01-29
					
					2400
					
				

			

		

		

			
				
本文围绕GPU计算与并行处理库展开，首先介绍了Aparapi，一个简单易用的Java并行API，接着探讨了JOCL，一个Java绑定OpenCL的工具，以及ROOT，专为高能物理学数据分析而设计的Java库。随后，我们深入研究了JCuda，一个与NVIDIA的CUDA集成的Java库。最后，文章将焦点转向分布式计算框架Apache Spark，探讨了如何在大数据处理中充分发挥GPU的并行计算优势。每个库的介绍都包含详细的示例代码，以帮助读者更好地理解和应用这些技术。

			
		

	





	

		

			

				
					
OpenCL优化应用项目

				
			

			

				

					噌胥苑——行思驿站
				

				

					08-15
					
					5973
					
				

			

		

		

			
				
OpenCL优化应用项目

1、计算机视觉相关

基于局部域考察的图像模糊化算法的加速实现（表面模糊，高斯模糊）图像模糊化

图像模糊化算法的特点是根据被考察点的局部域特征对被考察点的颜色进行调整，由于各被考察点的局部域相对独立，这类算法比较适合于用GPU进行优化，我们通过OpenCL并行编程，并行处理各图像点的局部域，能将图像模糊化的速度提高5倍以上。

基于Haar  Casc

			
		

	





	

		

			

				
					
运行Spark常见问题处理方法（持续更新中......）

				
			

			

				

					Fortuna_i的博客
				

				

					06-11
					
					4027
					
				

			

		

		

			
				
1.MaxResultSize问题

首先，出现这个错误的时候Spark会产生如下错误信息：

org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 77 tasks (1028.5 MB) is bigger than spark.driver....

			
		

	





	

		

			

				
					
Spark内存设置

				
			

			

				

					Fortuna_i的博客
				

				

					06-19
					
					6385
					
				

			

		

		

			
				
1.常规设置

    在我另一篇文章中也有提到（Spark运行常见问题），即常规设置：

        （假设物理机内存大小为32G）

        -Xms    物理内存的1/64    -Xms512m

        -Xmx    物理内存的1/4    -Xmx8G        

        -XX：PermSize    物理内存的1/64    -XX：PermS...

			
		

	





	

		

			

				
					
Spark配置参数

				
			

			

				

					Camu7s的专栏
				

				

					01-26
					
					3598
					
				

			

		

		

			
				
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。
Spark提供三个位置用来配置系统：

Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志

			
		

	





	

		

			

				
					
自制物理机安装centos7详细过程

					
热门推荐

				
			

			

				

					Fortuna_i的博客
				

				

					10-14
					
					1万+
					
				

			

		

		

			
				
1下载系统镜像文件

CentOS官网https://www.centos.org/->Get CengOS Now->list of current mirrors 

->选择镜像文件路径：centos7->isos->x86_64->dvd.iso 

注：中间涉及用U盘拷贝系统盘，对于大于4G的文件无法拷贝的问题，见如下：



具体修改格式方法参见：h...

			
		

	





	

		

			

				
					
GPU 计算 - GPU 优化简介

				
			

			

				

					长风破浪会有时，直挂云帆济沧海
				

				

					02-24
					
					3246
					
				

			

		

		

			
				
GPU 优化简介

原文 - An Introduction to GPU Optimization

采用 GPUs 加速简单的计算任务.

计算机处理的很多任务都会遇到大量的计算，耗时较多的问题；而且，随着数据集越来越大，耗时将更多. 解决方法之一是，使用线程(threads).

这里简单介绍 GPU 加速的工作模式，并通过 GPU 任务的一个简单 API 代码来说明其加速效果.

首先，看...

			
		

	





	

		

			

				
					
分布式的计算Spark

				
			

			

				

					缤纷彩虹天地
				

				

					11-05
					
					4094
					
				

			

		

		

			
				
Spark简介
什么是Spark？
Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是非常重要的。
Spark的一个重要特点就是能够在内存中计算，因而更快。即使在磁盘上进行的复杂计算，Spark依然比MapReduce更加高效。
Spark 相比 hadoop历史
–...

			
		

	





	

		

			

				
					
spark的优点与理论

				
			

			

				

					xuhualei88的专栏
				

				

					11-14
					
					6720
					
				

			

		

		

			
				
轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，2.0为22万行。一方面，感谢Scala语言的简洁和丰富表达力；另一方面，Spark很好地利用了Hadoop和Mesos（伯克利        另一个进入孵化器的项目，主攻集群的动态资源管理）的基础设施。虽然很轻，但在容错设计上不打折扣。主创人Matei声称：“不把错误当特例处理。”言下        之意，容错是基础设施的一部

			
		

	





	

		

			

				
					
spark 并行计算模型

				
			

			

				

					changtao381的专栏
				

				

					12-19
					
					1万+
					
				

			

		

		

			
				
Spark
Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。
Spark要解决的问题是，在当前的分布式计算框架中不能有效处理的两类问题：iterative（迭代计算）和 interactive（交互式）计算。
目前最流行的Hadoop 系统实现了DAG（有向无环

			
		

	





	

		

			

				
					
gpu检测需要安装java_GPU的测试(一)

				
			

			

				

					weixin_34900758的博客
				

				

					03-06
					
					414
					
				

			

		

		

			
				
Linux查看Nvidia显卡信息及使用情况Nvidia自带一个命令行工具可以查看显存的使用情况：nvidia-smi如图:表头释义：Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；Temp：显卡内部的温度，单位是摄氏度；Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；Pwr：能耗表示；...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值