spark 读取本地文件

最新推荐文章于 2024-05-07 04:51:46 发布

this is a book

最新推荐文章于 2024-05-07 04:51:46 发布

阅读量2.4k

点赞数

分类专栏： spark 文章标签： spark读取本地文件

本文链接：https://blog.csdn.net/an13654067079/article/details/126096797

版权

本文介绍了如何在Spark Java项目中读取本地文本文件，包括工程的搭建和代码示例，特别提醒在Linux服务器上运行时需指定本地文件路径前缀。

摘要由CSDN通过智能技术生成

1 背景

基于spark 开发程序

数据放在本地文件中，为text格式

本文语言案例为java

2 步骤

2.1 搭建工程

基于maven搭建spark工程_this is a book的博客-CSDN博客

2.2 代码示例

 SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
 SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());
 JavaRDD<String> rdd = javaSparkContext.textFile(INPUT_PATH); 
 rdd.foreach(new VoidFunction<String>() {
      @Override
      public void call(String s) throws Exception {
           System.out.println(s);
       }
  });