Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说,可以方便管理元数据,而对于只部署了Flink的公司来说,HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候,开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中,浪费了很多精力和时间。
利用ODS的订单详情和订单明细数据进行操作。
DWD层直接上代码
import java.time.Duration
import org.apache.flink.streaming.api.{
CheckpointingMode, TimeCharacteristic}
import org.apache.flink.streaming.api.environment.{
ExecutionCheckpointingOptions, StreamExecutionEnvironment}
import org.apache.flink.table.api.{
EnvironmentSettings, SqlDialect}
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment
import org.apache.flink.table.catalog.hive.HiveCatalog
//case class orderMaster(area: String, orderID: String, brandId: String, customerID: String, orderStatus: String, orderChannel: String, st