关注
分享
文章平均质量分 87
SparkCL：异构集群上加速器的同一编程框架。
结合Spark与异构系统，实现拟态计算。其中包含GPU、FPGA等编程知识，部分Java、Scala等编程语言，以及对于Spark并行计算框架和异构编程的个人理解。
Fortuna_i
眼里藏着小星星，生活才能亮晶晶。
展开
-
spark mllib算法思想总结
Spark MLlib全部算法总结（2.1.0版）说明：总结算法为Spark2.1.0中Mllib中源码算法，参照网络链接及书籍整理而成。算法按计算过程分两大类：监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）。监督学习：指给定算法的一个数据集，其中包含了“正确答案”。算法的目的就是给出更多的“正确答案”。无监督学习：指给...原创 2019-02-15 09:27:07 · 2717 阅读 · 1 评论 -
ubuntu16.04安装NVIDIA及CUDA，配置OpenCL
ubuntu16.04安装NVIDIA及cuda说明：拟使用ubuntu16.04LTS，NVIDIA driver384及cuda9.0，jdk1.8，scala2.11.8，hadoop2.7.6，spark2.1.0，eclipseForScala4.7.0，maven3.5.0，opencl1.2，具体参数见详细步骤。1 Linux系统安装1.1 下载准备材料下载ubu...原创 2018-12-26 09:11:30 · 3849 阅读 · 3 评论 -
SparkCL VectorAdd
SparkCL给出了三个Demo，分别是SparkCLPi、SparkCLVectorAdd、SparkCLWordCount源码地址：https://gitlab.com/mora/spark-ucores用于求向量相加的源码较为简单：算法思路：求向量和a[] = b[] + c[]，将其中对应元素相加赋给新数组即可。对比SparkCLPi，VectorAdd中使用了reduce...原创 2018-10-30 16:27:32 · 484 阅读 · 2 评论 -
自制物理机安装centos7详细过程
1下载系统镜像文件CentOS官网https://www.centos.org/->Get CengOS Now->list of current mirrors ->选择镜像文件路径：centos7->isos->x86_64->dvd.iso 注：中间涉及用U盘拷贝系统盘，对于大于4G的文件无法拷贝的问题，见如下：具体修改格式方法参见：h...原创 2018-10-14 00:19:50 · 12400 阅读 · 2 评论 -
自制centos7安装NVIDIA驱动及CUDA
需准备文件包括NVIDIA驱动（官网https://www.geforce.cn/drivers）以及cuda Toolkit（官网https://developer.nvidia.com/cuda-downloads）首先查看自己GPU型号lspci | grep -i vga 按照对应版本下载，驱动Linux64位--Geforce GTX970--Chinese(simplified...原创 2018-10-18 09:21:59 · 4067 阅读 · 0 评论 -
getGlobalId与getGlobalSize等参数释义
最近在《OpenCL异构计算》这本书（《Heterogeneous computing with OpenCL》翻译而来）上看到有一部分解释这些异构常用字段方法的含义，加上个人理解，希望可以帮助“码友”快速理解。get_work_dim 返回线程调度的维度数；（个人理解）表示NDRange的维度数。get_global_size 返回所请求维度上work-item的总数...原创 2018-07-04 18:26:13 · 4611 阅读 · 0 评论 -
SparkCLPi
SparkCL给出了三个Demo，分别是SparkCLPi、SparkCLVectorAdd、SparkCLWordCount源码地址：https://gitlab.com/mora/spark-ucores用于求π的源码解析如下：源码所采用求π算法思路：x,y去0~1的随机数，做简单变换X,Y变为（-1~1），返回统计结果中在圆形内部点的概率占正方形的比例，即图中圆面积除以正...原创 2018-09-12 15:20:09 · 556 阅读 · 0 评论 -
SparkCL
原文：《SparkCL: A Unified Programming Framework for Accelerators on Heterogeneous Clusters》翻译：概要：我们提出SparkCL，这是一个基于Java、OpenCL和Apache Spark框架的开放源码统一编程框架。这项工作的动机是将诸如fpgas/gpus/apus/DSPs等非传统的计算核心，以及未来的...翻译 2018-09-12 10:51:35 · 735 阅读 · 0 评论 -
Spark32个常用算子总结
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。（注：以下截图为windows下运行结果）Transformation：1.mapmap的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），ma...原创 2018-08-09 14:37:44 · 43540 阅读 · 8 评论 -
适合GPU运算的类型
适合GPU运算的运算类型有以下六种：（1）大量的轻量级运算即用大量数据或者用同一数据多次调用同一公式或者计算过程，公式本身并不复杂，只是执行的次数较多，这是GPU先天的优势。（2）高度并行高度并行指的就是各个数据之间运算互不影响，即耦合度较低。由于GPU本身硬件基础决定，各个workgroup之间并不相互通信，只有同一workgroup内的work-item之间才相互通信，所以GP...原创 2018-07-24 15:05:01 · 8083 阅读 · 0 评论