Spark Core
leedsjung
这个作者很懒,什么都没留下…
展开
-
Spark RDD、pair RDD、RDD分区
RDD弹性分布式数据集(Resilient Distributed Dataset)每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。RDD 支 持 两 种 类 型 的 操 作: 转 化 操 作(transformation) 和 行 动 操 作(action)转化操作会由一个 RDD 生成一个新的 RDD行动操作会对 RDD 计算出一个结果,并把结果返回到驱动器程序中,或把结果存...原创 2018-03-22 13:32:22 · 885 阅读 · 0 评论 -
Spark 调优与调试
=======================================================================================使用SparkConf配置Spark对 Spark 进行性能调优,通常就是修改 Spark 应用的运行时配置选项。Spark 中最主要的配置机制是通过 SparkConf 类对 Spark 进行配置当创建出一个 SparkCo...原创 2018-03-19 13:44:08 · 948 阅读 · 0 评论