spark 独立应用编程之 Java 编程

最新推荐文章于 2024-07-24 00:10:31 发布

我不是高材生

最新推荐文章于 2024-07-24 00:10:31 发布

阅读量1.4k

点赞数

分类专栏：如何学习大数据文章标签： spark 独立应用编程 Java 大数据

本文链接：https://blog.csdn.net/qq_21516633/article/details/105298006

版权

本文介绍了如何使用Java编程开发Spark独立应用。首先，详细讲述了如何安装maven，包括下载、解压和运行示例程序的步骤。接着，提到了在用户家目录创建目录树，编写程序和声明文件，并通过特定命令打包应用。最后，展示了运行程序的截图，确认打包成功，并给出了运行命令的参考链接。

摘要由CSDN通过智能技术生成

文章更新于：2020-04-03
按照惯例，文件附上链接放在文首。

文件名：apache-maven-3.6.3-bin.tar.gz
文件大小：9.1 MB
下载链接：https://www.lanzous.com/iaykx6d
SHA256: 26AD91D751B3A9A53087AEFA743F4E16A17741D3915B219CF74112BF87A438C5

点击目录可跳转

一、安装 maven

1、下载 maven

你可以去官网 https://maven.apache.org/download.cgi#Files 下载。
也可以使用文首提供的蓝奏链（注意校验Hash）。

2、解压安装

# 解压到 /usr/local
sudo tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /usr/local | tail -n 10

# 改名和修改权限
cd /usr/local/
sudo mv apache-maven-3.6.3/ maven
sudo chown -R bigdata:bigdata maven

解压安装

3、运行示例程序

现在用户家目录创建一个目录树 ~/sparkapp2/src/main/java

cd ~
mkdir -p sparkapp2/src/main/java

然后在这个目录树中创建程序文件 SimpleApp.java

vim ~/sparkapp2/src/main/java/SimpleApp.java

# 文件内容如下：
    /*** SimpleApp.java ***/
        import org.apache.spark.api.java.*;
        import org.apache.spark.api.java.function.Function;
     
        public class SimpleApp {
   
            public static void main(String[] args) {
   
                String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
                JavaSparkContext sc = new JavaSparkContext("local", "Simple App",
                    "file:///usr/local/spark/", new String[]{
   "target/simple-project-1.0.jar&