Flink+Druid+Clickhouse相关报错

joninie_一只肉圆

已于 2022-07-19 17:40:41 修改

阅读量1.1k

点赞数

分类专栏：报错解决方案使用总结文章标签： flink java apache clickhouse druid

于 2022-07-19 17:40:02 首次发布

本文链接：https://blog.csdn.net/weixin_42130167/article/details/125877171

版权

本文记录了在使用Flink处理数据，并通过Druid连接池写入Clickhouse过程中遇到的问题及解决方法。包括：1) Flink读取Excel文件时的NoClassDefFoundError，解决方案是添加poi相关依赖；2) maven打包后Excel文件无法打开，原因是文件被编译，解决办法是配置maven排除特定文件类型；3) Flink运行时的ConfigException，通过修改pom配置解决；4) 写入Clickhouse时的多语句不支持问题，通过调整URL参数解决；5) SQLFeatureNotSupportedException，降低clickhouse-jdbc版本即可修复。

摘要由CSDN通过智能技术生成

背景：需要使用Flink读取数据处理后使用Druid连接池写入Clickhouse，期间遇到各种问题，简单记录一下

1、flink读取excel文件报错：java.lang.NoClassDefFoundError: org/apache/poi/xssf/usermodel/XSSFWorkbook

原因：缺乏包：poi-ooxml ，poi-ooxml-schemas和poi

解决方案：pom里加入以下内容，请注意三个包版本号保持一致

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>4.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml-schemas</artifactId>
    <version>4.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>4.1.2</version>
</dependency>