spark examples 导入idea并测试

记录下自己使用idea导入spark examples项目的过程。

spark examples 项目可以给我们提供很多有益的参考，经常看看这些代码有助于提高我们写scala代码的水平。

只导入spark-example项目，其他不管，这个项目使用maven管理依赖，导入的时候选择maven.

我并未测试全部的程序，只测试了scala包中前面几个，第一个广播变量的测试的时候报错，找不到google,maps.

遂在pom包中添加guava的依赖。

    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <scope>compile</scope>
    </dependency>

一开始直接ctrl+shift+f10会报找不到sparksession之类的错误，解决方法：ctrl+r 替换provided->compile

val spark = SparkSession
  .builder
  .appName("GroupBy Test")
  .master("local[*]")
  .getOrCreate()

直接右键运行或快捷键运行的时候会报没有提供有效的master url,为了直接调试程序，在代码中加入

      .config("spark.master","local[*]") or .master("local[*]")即可。

转载于:https://www.cnblogs.com/huaxiaoyao/p/9978262.html