Spark底层原理分析
Spark延迟30秒系列主要关注点在:Spark内部原理、性能。不求针对源码进行全面的分析,只愿在需要的时候能利用源码来进行分析。同时会提供一些实践(当然使用笔记本就可以实现的),来验证Spark的原理,以此来辅助理解Spark核心原理。
fansy1990
这个作者很懒,什么都没留下…
展开
-
Spark ALS recommendForAll源码解析实战之Spark1.x vs Spark2.x
文章目录Spark ALS recommendForAll源码解析实战1. 软件版本:2. 本文要解决的问题3. 源码分析实战3.1 Spark2.2.2 ALS recommendForAll 实战分析1. 首先给出其核心实现源码:2. blockify函数3. cartesian flatMap的优势4. flatMap的处理逻辑3.2 Spark1.6.3 ALS recommendForA...原创 2019-03-04 21:17:00 · 1228 阅读 · 1 评论 -
Spark ALS应用BLAS加速
文章目录Spark ALS应用BLAS加速1. 环境2. 问题引入3. 参考:4. 思路:4.1 简单测试:4.2 使用Native BLAS需要添加的Jar包方式1:在Intellij IDEA 中添加依赖找到方式2: 自行指定参数编译Spark源码4.3 使用新编译的Spark测试是否加载Native BLAS5. 修改官网提供的安装包,使其加载BLAS5.1 使用 --jars 参数5.2 ...原创 2019-02-27 23:16:49 · 2124 阅读 · 0 评论