Spark Java API开发案例 + 打Jar包上传服务器环境运行

最新推荐文章于 2022-12-28 10:37:46 发布

腹黑客

最新推荐文章于 2022-12-28 10:37:46 发布

阅读量309

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_29342297/article/details/110913028

版权

本文介绍了如何使用Spark Java API进行开发，包括创建Maven项目，编写Scala代码实现WordCount，然后在IDEA中运行验证。接着，详细讲解了如何打包项目为jar文件，并将其上传到服务器，通过Spark-Submit命令在服务器环境中执行。

摘要由CSDN通过智能技术生成

Spark Java API开发案例

创建Maven项目，修改pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sanxiau</groupId>
    <artifactId>spark</artifactId>
    <version>0.1.0</version>

    <properties>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.2.0</spark.version>
        <slf4j.version>1.7.16</slf4j.version>
        <log4j.version>1.2.17</log4j.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupI