spark需要maven管理吗_如何使用SparkSql和Hive为maven创建pom.xml？

我创建了一个Maven项目的SparkSql和蜂巢连接和写了下面的示例代码：如何使用SparkSql和Hive为maven创建pom.xml？

SparkSession spark = SparkSession

.builder()

.appName("Java Spark Hive Example")

.master("local[*]")

.config("hive.metastore.uris", "thrift://localhost:9083")

.enableHiveSupport()

.getOrCreate();

try{

spark.sql("select * from health").show();

} catch(Exception AnalysisException) {

System.out.println("table not found");

}

我使用星火2.1.0和1.2.1蜂房

对于运行上面的代码，我从Spark文件夹中导入Jar文件并将其包含在项目中。我没有使用Maven Pom.xml来完成这个特定的工作。但是当我转向像AWS这样的更大集群时，我需要运行我的JAR文件。

我无法运行，因为Maven无法找到依赖关系。所以我想添加依赖关系。我试过这个：

org.apache.spark

spark-core_2.10

2.1.0

org.apache.spark

spark-sql_2.10

1.2.1

org.apache.spark

spark-hive_2.10

1.2.1

但它没有工作，我无法看到以前通过添加JAR文件得到的输出。

我想知道我是否做错了，如果是的话请告诉我该怎么做？即使按照文档中的Spark说明，我如何将hive-site.xml和hdfs-site.xml与我的项目一起添加到pom.xml中？目前使用IntelliJ。 请让我知道我能做些什么来解决我的问题？