从磁盘读取数据与从内存读取数据的区别【Java版纯代码】

最新推荐文章于 2022-07-28 10:15:16 发布

道法—自然

最新推荐文章于 2022-07-28 10:15:16 发布

阅读量878

点赞数

本文链接：https://blog.csdn.net/wyqwilliam/article/details/81149158

版权

本文通过Java代码展示了使用Spark读取磁盘数据与内存数据的区别，使用了SparkConf设置应用和主节点，JavaSparkContext读取文件，并进行checkpoint操作。虽然未直接比较读取速度，但代码中包含缓存和持久化级别设置，暗示了性能差异的主题。

摘要由CSDN通过智能技术生成

package com.bjsxt.spark;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.storage.StorageLevel;

public class persistTest {
   public static void main(String[] args) {
       SparkConf conf = new SparkConf();
       conf.setAppName("wc");
       conf.setMaster("local");
       JavaSparkContext sc = new JavaSparkContext(conf);
       sc.setCheckpointDir("./checkpointDIR");
       JavaRDD<String> lines = sc.textFile("./words");
       lines.checkpoint();
       lines.count();

//       long startTime1 = System.currentTimeMillis();
//       JavaRDD<String> lines = sc.textFile("./NASA_access_log_Aug95");
       lines = lines.cache();
//       lines = lines