Spark2.4.8 在IDEA中编程问题

一、问题一

• 描述：Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMillis()J
• 原因：Spark2.4.8没有集成Google Guava库或者Guava版本过高导致(16.0版本已经删除了elapsedMillis方法)
• 解决：有两种方法：
  • 方法一：需要在pom.xml中添加Google Guava库，添加如下：

    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <version>15.0</version>
    </dependency>
    

  • 方法二（建议使用）：需要在pom.xml中添加HDFS客户端依赖，添加如下：

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.3</version>
    </dependency>