cache:将数据临时存储在内存中进行数据重用
persist:将数据临时存储在磁盘文件中,进行数据的重用,涉及到磁盘io,性能较低,但是数据安全,如果作业执行完毕,临时保存的数据文件就会丢失
checkpoint:可以将数据长久地保存在磁盘文件中进行数据重用,涉及到磁盘io,性能较低,但是数据安全,为了保证数据安全,所以一般情况下,会独立执行作业,为了能够提高效率,一般情况下,是需要和cache联合使用的,在执行过程中,会切断血缘关系,重新建立新的血缘关系,等同于改变数据源头
cache:将数据临时存储在内存中进行数据重用
persist:将数据临时存储在磁盘文件中,进行数据的重用,涉及到磁盘io,性能较低,但是数据安全,如果作业执行完毕,临时保存的数据文件就会丢失
checkpoint:可以将数据长久地保存在磁盘文件中进行数据重用,涉及到磁盘io,性能较低,但是数据安全,为了保证数据安全,所以一般情况下,会独立执行作业,为了能够提高效率,一般情况下,是需要和cache联合使用的,在执行过程中,会切断血缘关系,重新建立新的血缘关系,等同于改变数据源头