苹果 m1 芯片下运行 flink 程序使用 rocksdb 状态后端兼容性问题

做人要厚道2013

已于 2022-12-21 08:01:15 修改

阅读量665

点赞数 1

文章标签： flink 大数据 rocksdb 状态后端

于 2022-12-20 21:40:08 首次发布

本文链接：https://blog.csdn.net/u012468376/article/details/128390584

版权

博客内容讲述了Flink 1.13.6版本的RocksDB连接器在Apple M1芯片上由于so文件不兼容导致的错误。为了解决这个问题，可以修改pom.xml文件，排除默认的frocksdbjni依赖，并引入特定版本的rocksdbjni和frocksdbjni依赖。通过这样的方式，可以确保在M1芯片上正确运行Flink作业。

摘要由CSDN通过智能技术生成

flink 的版本 1.13.6 的 rocksdb 连接器不支持apple 的 m1 芯片，主要是 so 文件不兼容 m1 芯片。在 idea 运行的时候会报错：incompatible architecture (have (x86_64), need (arm64e)))

可以在 pom.xml文件中添加如下依赖解决：（注意下面3 个依赖的顺序不能调整）

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-statebackend-rocksdb_2.12</artifactId>
    <version>1.13.6</version>
    <exclusions>
        <exclusion>
            <groupId>com.ververica</groupId>
            <artifactId>frocksdbjni</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.rocksdb</groupId>
    <artifactId>rocksdbjni</artifactId>
    <version>7.7.3</version>
    <scope>provided</scope>
</dependency>

<dependency>
   <groupId>com.ververica</groupId>
   <artifactId>frocksdbjni</artifactId>
   <version>6.20.3-ververica-1.0</version>
</dependency>