spark2.0 读取mysql 并加载到hive分区表 cdh

首先建立一个maven 项目 然后 add framework scala 添加scala支持

将hive的相关配置放到项目的resources 目录下，core-site.xml hdfs-site.xml hive-site.xml

如果是cdh的话，配置会有很多，可以自己简化一下，只保留 核心配置，比如说 namenode地址

有的配置端口为8020 有的为9000 注意下端口，当初一直报connection refuse 就是没有检查端口问题

还有坑爹的cdh，真心感觉cdh不好用，cdh的元数据配置，比如说hive-site.xml 找了半天都没有找到

在 /etc 配置的那个是thirft spark不认 无法链接 元数据信息，最终发现在 https://blog.csdn.net/qq_38250124/article/details/84886111

 

附上pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>sparkMysql</groupId>
    <artifactId>sparkMysql</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <spark.version>2.3.2</spark.version>
        <scala.version>2.11</scala.version>
    </properties>

    <dependencies>


        <dependency>
            <groupId>org.apache.hadoop</groupId&