java项目中调用scala+spark+hive的环境依赖

最新推荐文章于 2023-02-18 10:21:27 发布

weixin_34174105

最新推荐文章于 2023-02-18 10:21:27 发布

阅读量382

点赞数

文章标签：大数据 scala java

原文链接：https://my.oschina.net/shea1992/blog/1608325

版权

2019独角兽企业重金招聘Python工程师标准>>>

本次例子主要是hisms系统中使用etl处理数据：

首先引入pom依赖：

jackson版本（spark1.6及以上版本版本需将Jackson 版本改为 2.4.4以上，否则报错：NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer）：

<dependency>
  <groupId>com.fasterxml.jackson.core</groupId>
  <artifactId>jackson-annotations</artifactId>
  <version>2.7.4</version>
</dependency>
<dependency>
  <groupId>com.fasterxml.jackson.core</groupId>
  <artifactId>jackson-core</artifactId>
  <version>2.7.4</version>
</dependency>
<dependency>
  <groupId>com.fasterxml.jackson.core</groupId>
  <artifactId>jackson-databind</artifactId>
  <version>2.7.4</version>
</dependency>
<dependency>
  <groupId>com.fasterxml.jackson.module</groupId>
  <artifactId>jackson-module-scala_2.10</artifactId>
  <version>2.7.4</version>
</dependency>

spark相关依赖（需要加入org.codehaus.janino包）：

<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.10.4</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.2.0</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>2.2.0</version>
    <!--防止报错 java.lang.NoClassDefFoundError: org/codehaus/commons/compiler/UncheckedCompileException-->
    <exclusions>
      <exclusion>
        <groupId>org.codehaus.janino</groupId>
        <artifactId>janino</artifactId>
      </exclusion>
      <exclusion>
        <groupId>org.codehaus.janino</groupId>
        <artifactId>commons-compiler</artifactId>
      </exclusion>
    </exclusions>
  </dependency>
  <dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>commons-compiler</artifactId>
    <version>3.0.7</version>
  </dependency>
  <dependency>
  <groupId>org.codehaus.janino</groupId>
  <artifactId>janino</artifactId>
  <version>3.0.7</version>
</dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.10</artifactId>
    <version>2.2.0</version>
  </dependency>

再将hive所需的文件导入resources中：

core-site.xml
hdfs-site.xml
hive-site.xml

转载于:https://my.oschina.net/shea1992/blog/1608325