基于maven创建spark工程、调试并运行

最新推荐文章于 2024-07-29 18:14:55 发布

qq_23617681

最新推荐文章于 2024-07-29 18:14:55 发布

阅读量2.1k

点赞数

分类专栏： spark maven 文章标签： spark maven

本文链接：https://blog.csdn.net/qq_23617681/article/details/51382429

版权

本文介绍了如何基于maven构建一个Spark Java工程，包括先决条件、工程创建步骤、解决运行时遇到的问题，如设置SPARK_MASTER_IP和SPARK_LOCAL_IP，以及调试过程中的观察与分析。

摘要由CSDN通过智能技术生成

建立spark工程有两种方式：java工程、maven工程。

由于maven管理jar包很方便，本篇基于maven构建spark工程。

spark支持四种语言：scala、java、python、R。

其中scala是基于java的语言，必须有JDK支持。

同时也是spark源码语言，官方API文档对scala的支持是最好的。

如果能选择scala语言作为spark程序的开发，是最好的。

java、python是spark中支持比较好的语言，官方文档中有完整的API解释。

R语言是spark1.4版之后才开始支持，官方资源较少，网络资源也少。

由于博主之前用的是java，这里为了快速入手，构建出能运行spark实例，还是用java开发spark程序。

先决条件：

1、已安装好maven。

2、已安装好hadoop。

3、已安装好spark。

maven构建spark工程基本步骤：

1、新建maven工程。

2、新建JavaSparkPi类。

3、添加spark解压包中JavaSparkPi.java代码。

package sparkTest;

/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *    http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writ