spark java 例子_java中Spark 构建轻量级服务例子

看到Spark,大部分人想到的肯定是Apache旗下的Spark,但是文章所要介绍的并不是Apache的Spark,而是另外一个轻量级的Java框架--Spark,官方对它的介绍是

来看下一个最简单的例子

1 . 在pom.xml中增加

com.sparkjava

spark-core

2.0.0

2 . 新建一个Class

import static spark.Spark.*;

public class HelloWorld {

public static void main(String[] args) {

get("/hello", (req, res) -> "Hello World");

}

}

直接运行HelloWorld,访问http://localhost:4567/hello , 页面会显示Hello World

竟然Java可以写的这么简洁。。。

二. spark的打包运行

对于这种轻量级应用服务,怎么启动好呢,最简单的启动方式就是

java -jar ***.jar

这样只要服务器上安装JDK, 其他什么Maven、Tomcat之类的都不需要安装

其实打包很简单,由Maven构建的应用直接使用Plugins就可以

org.apache.maven.plugins

maven-compiler-plugin

1.8

1.8

UTF-8

org.apache.maven.plugins

maven-jar-plugin

true

lib

net.coding.gravatar.Application

org.apache.maven.plugins

maven-dependency-plugin

copy

package

copy-dependencies

${project.build.directory}/lib

三. Spark的使用场景

对于小型服务之类,使用Spark能加快开发速度,同时对于服务器环境搭建要求低,只要拥有JDK环境就可以(注: JDK版本要求JDK 8 )

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark是一种快速而通用的集群计算系统,旨在使数据处理更加容易。 Spark 提供了一个简单易用的编程接口,支持 Java、Scala、Python 和 R。在本教程,我们将介绍Spark的一些基本概念,并使用Java编写一个简单的Spark应用程序。 ## 环境准备 在开始之前,您需要准备以下环境: - JDK 8或更高版本 - Maven 3.0或更高版本 ## Spark快速入门 ### 第一步:创建一个Maven项目 首先,我们需要创建一个Maven项目。在您的命令行终端上执行以下命令: ``` mvn archetype:generate -DgroupId=com.spark.example -DartifactId=SparkExample -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false ``` 这将创建一个基本的Maven项目。 ### 第二步:添加Spark依赖 在您的Maven项目添加以下依赖: ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> ``` ### 第三步:编写Spark应用程序 在您的Maven项目,创建一个名为 `SparkExample` 的Java文件,并添加以下代码: ```java import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.SparkConf; public class SparkExample { public static void main(String[] args) { // 创建一个 Spark 配置对象 SparkConf conf = new SparkConf().setAppName("SparkExample").setMaster("local[*]"); // 创建一个 Spark 上下文对象 JavaSparkContext sc = new JavaSparkContext(conf); // 创建一个 RDD JavaRDD<String> lines = sc.textFile("src/main/resources/example.txt"); // 打印 RDD 的行数 System.out.println("Lines count: " + lines.count()); // 关闭 Spark 上下文对象 sc.close(); } } ``` 这个应用程序将读取一个名为 `example.txt` 的文本文件,并打印出该文件的行数。 ### 第四步:运行Spark应用程序 在您的命令行终端上执行以下命令来运行Spark应用程序: ``` mvn package ``` 这将编译和打包您的Maven项目,并生成一个名为 `SparkExample-1.0-SNAPSHOT.jar` 的Jar文件。 然后,您可以在命令行终端上运行以下命令来启动Spark应用程序: ``` spark-submit --class com.spark.example.SparkExample target/SparkExample-1.0-SNAPSHOT.jar ``` 这将启动Spark应用程序,并输出包含行数的消息。 ## 总结 在本教程,我们介绍了Spark的一些基本概念,并使用Java编写了一个简单的Spark应用程序。希望这篇文章能够帮助您快速入门Spark

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值