Spark读写Hive添加PMML支持

最新推荐文章于 2024-08-10 07:23:47 发布

fansy1990

最新推荐文章于 2024-08-10 07:23:47 发布

阅读量3.8k

点赞数

分类专栏： cdh hive spark pmml

本文链接：https://blog.csdn.net/fansy1990/article/details/53444781

版权

该博客介绍了如何在Spark 1.6.0中读取Hive表数据，结合PMML模型进行处理，然后将结果写入新的Hive表。作者提供了工程的软件版本、POM配置、测试环境构建步骤和总结，包括遇到的问题和可能的解决方案。

摘要由CSDN通过智能技术生成

软件版本：

CDH：5.8.0；Hadoop：2.6.0 ； Spark：1.6.0； Hive：1.1.0；JDK：1.7 ； SDK：2.10.6（Scala）

工程下载：https://github.com/fansy1990/spark_hive_source_destination/releases/tag/V1.1

目标：

在Spark加载PMML文件处理数据（参考：http://blog.csdn.net/fansy1990/article/details/53293024）及Spark读写Hive（http://blog.csdn.net/fansy1990/article/details/53401102）的基础上，整合这两个操作，即使用Spark读取Hive表数据，然后加载PMML文件到模型，使用模型对读取对Hive数据进行处理，得到新的数据，写入到新的Hive表。

实现：

1. 工程pom文件，工程pom文件添加了spark、spark-hive以及pmml的依赖支持，如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>cdh5.7.3</groupId>
  <artifactId>spark_hive</artifactId>
  <version>1.0-SNAPSHOT</version>
  <inceptionYear>2008</inceptionYear>

    <properties>
        <scala.version>2.10.6</scala.version>
        <spark.version>1.6.0-cdh5.7.3</spark.version>
  </properties>

  <repositories>
      <repository>
          <id>cloudera</id>
          <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
      </repository>

  </repositories>

  <dependencies>
      <!-- Spark  -->
      <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-core_2.10</artifactId>
          <version>${spark.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-mllib_2.10</artifactId>
          <version>${spark.version}</version>
          <exclusions>
              <exclusion>
                  <groupId>org.jpmml</groupId>
                  <artifactId>pmml-model</artifactId>
              </exclusion>
          </exclusions>
      </dependency>
      <dependency>
          <groupId>org.jpmml</groupId>
          <artifactId>pmml-evaluator</artifactId>
          <version>1.2.15</version>
      </dependency>

      <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-hive_2.10</artifactId>
          <version>${spark.version}</version>
      </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4