我的spark demo

该程序演示了一个简单的Java应用程序,它利用ApacheSpark进行数据处理。它读取指定路径的文本文件,创建一个Dataset,然后过滤包含特定字符串(如test)的行,并计算这些行的数量。项目依赖于SparkSQL的2.12版本,并通过Spark-submit命令在本地模式下运行。
摘要由CSDN通过智能技术生成

编写java应用程序:

import org.apache.spark.api.java.function.FilterFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession;

public class SimpleApp {
    public static void main(String[] args) {
        String logFile = "你的文件路径/a.txt"; // Should be some file on your system
        SparkSession spark = SparkSession.builder().appName("Simple Application").getOrCreate();
        Dataset<String> logData = spark.read().textFile(logFile).cache();

        long numBs = logData.filter((FilterFunction<String>) s -> s.contains("test")).count();

        System.out.println(", lines with test: " + numBs);

        spark.stop();
    }
}

对应pom:

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.4.1</version>
            <scope>provided</scope>
        </dependency>

运行:

./bin/spark-submit \
  --class "SimpleApp" \
  --master local[4] \
  你的jar包地址

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值