Scala
chroje
这个作者很懒,什么都没留下…
展开
-
Scala中的柯里化
首先要区分Scala函数与方法的区别,这在Scala中是两个不同概念,只有理解了这两个概念才能理解柯里化。方法scala> def add(x:Int, y: Int) = x + yadd: (x: Int, y: Int)Intscala> add(1, 2)res0: Int = 3函数scala> val add_f = (x: Int, y: Int) => x ...原创 2018-05-22 18:05:38 · 2996 阅读 · 2 评论 -
RDD源码分析--Iterator
RDD,Resilient Distributed Datasets,弹性分布式数据集。在Spark中,通俗地可以认为是一个数据集合,只不过这个数据集合分布在不同的机器上,对外表现为一个整体。一般来讲,对RDD进行操作比如map操作时分为两步,第一步为局部操作,即是对每台机器上的RDD的部分数据都进行map并行操作,第二步为汇总操作,将每台机器的执行结果进行汇总。其中有一个问题是,RDD中的数据集...原创 2018-05-28 12:02:01 · 950 阅读 · 0 评论 -
Spark Streaming中的checkpoint
Checkpoint我们必须记录一些信息以方便恢复现场,在Spark Streaming中使用checkpoint实现恢复操作。Spark Streaming中有两种不同对象的checkpont操作。元数据(Metadata) checkpointing保存Streaming中定义流计算的相关信息到可信赖的文件系统如HDFS,这种方式用于运行Driver的节点失败之后的恢复。元数据包括:配置---...原创 2018-06-04 12:10:56 · 750 阅读 · 0 评论