![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 85
nls1014
这个作者很懒,什么都没留下…
展开
-
Spark读取本地文件操作
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.sp原创 2017-08-26 16:41:16 · 17204 阅读 · 2 评论 -
spark性能调优的本质、Spark资源使用原理和调优要点分析
首先:调优的本质 在大数据性能的调优,它的本质是硬件的调优!即基于 CPU(计算)、Memory(存储)、IO-Disk/ Network(数据交互) 基础上构建算法和性能调优!我们在计算的时候,数据肯定是存储在内存中的。磁盘IO怎么去处理和网络IO怎么去优化。 Spark 性能调优要点分析: 在大数据性能本质的思路上,我们应该需要在那些方面进原创 2017-09-06 13:37:49 · 232 阅读 · 0 评论 -
Spark算子使用示例
Spark算子使用示例 原创 2016年11月05日 18:02:21 4986 6 2转载 2017-10-10 12:33:58 · 239 阅读 · 0 评论