![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 95
y鱼鱼
这个作者很懒,什么都没留下…
展开
-
PySpark Core(Checkpoint、共享变量、RDD持久化)
RDD 数据可以持久化,但是持久化/缓存可以把数据放在内存中,虽然是快速的,但是也是最不可靠的;也可以把数据放在磁盘上,也不是完全可靠的!例如磁盘会损坏等。Checkpoint的产生就是为了更加可靠的数据持久化,在Checkpoint的时候一般把数据放在在HDFS上,这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全,实现了RDD的容错和高可用。原创 2023-02-12 13:23:30 · 394 阅读 · 0 评论 -
PySpark Core(基础,RDD创建,RDD操作)
在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing这篇paper中(以下简称 RDD Paper),Matei等人提出了RDD这种数据结构,文中开头对RDD的定义是:RDD设计的核心点为RDD提供了一个抽象的数据模型,不必担心底层数据的分布式特性。原创 2023-02-12 12:13:23 · 433 阅读 · 0 评论