华为FusionInsight HD spark写PostgreSQL的包冲突问题

最新推荐文章于 2024-08-06 20:21:51 发布

ooobenooo

最新推荐文章于 2024-08-06 20:21:51 发布

阅读量404

点赞数 1

分类专栏： Java 奇难杂症

本文链接：https://blog.csdn.net/ooobenooo/article/details/105747230

版权

在使用华为FusionInsight大数据产品过程中遇到一个坑，项目需求是利用spark处理数据后把结果集写入PostgreSQL，但是一直报用户名密码不正确。经定位发现，华为FI产品中有一个组件叫DBService，其中使用华为修改的org.postgresql.Driver, 而这个类在所有的FusionInsight包含的产品中都有依赖，执行用户代码时顺带加载了这个类，与jar中的开源类存在冲突。

解决方案：

解决spark包冲突，利用maven shade plugin。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>net.ben</groupId>
    <artifactId>demo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>