flink 读取kafka到hdfs时,存储parquet文件格式,代码不报错,自动结束应用,缺少依赖或者报错Caused by:java.lang.NoClassDefFoundException
"我已经找到了一种通过Apache Flink在HDFS中读取parquet文件的方法。
应该在pom.xml中添加以下依赖项
org.apache.flink
flink-hadoop-compatibility_2.11
1.6.1
org.apache.flink
flink-avro
1.6.1
org.apache.parquet
parquet-avro
1.10.0
org.apache.hadoop
hadoop-mapreduce-client-core
3.1.1
org.apache.
原创
2021-01-22 21:26:31 ·
278 阅读 ·
0 评论