flink table无法取非group by的字段

有的时候我们希望获取非group by的字段,这时候发现flink的table api不支持,会报错。比如group by a,b的时候select c,d,则会报错 expression c is not being grouped。

其实这是一个SQL规范(SQL92标准),像在mysql5.7及以上版本中,默认的sql_mode=only_full_group_by。这个配置就要求select后的字段要么是group by后的字段,要么是聚合函数。否则会报错。

mysql中可以通过修改配置来解决这个强约束。

但是flink table目前好像还没有相关配置,或者是我没有找到。

目前为了解决这个问题,采用的方案是放弃使用table api,对于流处理直接使用key by。

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要使用 Flink Table API 从 Kafka 中读取整条数据,您可以按照以下步骤进行操作: 1. 首先,确保您已经添加了 Flink Kafka Connector 的依赖项。在 Maven 项目中,您可以在 `pom.xml` 文件中添加以下依赖项: ```xml <dependencies> <!-- 其他依赖项 --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>${flink.version}</version> <!-- 替换为您正在使用的 Flink 版本 --> </dependency> </dependencies> ``` 2. 创建一个 FlinkTableEnvironment: ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.TableEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class FlinkKafkaTableExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, settings); // 设置 Kafka 连接属性 Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "test-group"); // 在 TableEnvironment 中注册 Kafka 表 tableEnv.connect(new Kafka() .version("universal") .topic("your-topic") .properties(properties)) .withFormat(new Json().failOnMissingField(true)) .withSchema(new Schema() .field("data", DataTypes.STRING()) ) .inAppendMode() .createTemporaryTable("kafkaTable"); // 使用 TableEnvironment 执行查询 Table result = tableEnv.sqlQuery("SELECT * FROM kafkaTable"); // 打印结果 tableEnv.toAppendStream(result, Row.class).print(); // 执行任务 env.execute("Flink Kafka Table Example"); } } ``` 在上述代码中,您需要将 `"your-topic"` 替换为您实际的 Kafka 主题名称。在 `withFormat` 方法中,我们使用了 `Json` 格式来解析 Kafka 中的数据,您可以根据实际情况更改为其他格式。在 `withSchema` 方法中,我们定义了一个名为 `"data"` 的字段,它的类型是字符串类型 `DataTypes.STRING()`。 请注意,上述示例代码中使用的是 Flink 1.14.0 版本的 Table API 和 SQL。如果您使用的是不同的版本,请根据您的 Flink 版本进行适当调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值