arwenlin的博客

本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。目录1依赖2代码3发布集群3.1打包后上传到集群执行3.2IDE远程发布集群执行1依赖<dependencies><dependency><groupId>com.fasterxml.jackson.core</

Flink 1.12.2 写入hdfs有3种方式，依照api出现的先后依次介绍，重点介绍Flink SQL on Hive的方式。目录1 streaming file sink2 FileSink3 Flink SQL on Hive3.1添加依赖3.2 配置Hive Catalog及使用Flink终端访问Hive3.3 代码调用Flink SQL写入Hive4 总结1 streaming file sink1.7版Flink开始支持通过StreamingFileSi

目录1.引入Kafka相关依赖2.使用DataStream方式读取Kafka1.创建Flink执行环境2.创建kafka数据源并添加到执行环境中3.执行3.使用FlinkSQL方式读取Kafka1.创建执行环境2.创建kafka源表3.打印4.一点说明1.引入Kafka相关依赖无论哪种kafka读取方式，首先pom中要引入Flink的依赖<dependency><groupId>org.apache.flink</.

Flink SQL Connector JDBC目前只支持Mysql，Derby和Postgres，但是oracle和sqlserver可以通过JDBC connector自己扩展。目前只能修改重编FLINK源码实现扩展，社区正在积极对此进行抽象和改造，未来应该会有更好的接口扩展方式。目录1.编译FLINK源码2.SQLSERVER JDBC扩展示例2.1 Flink JDBC源码简介2.2 Flink JDBC扩展思路2.3 Flink JDBC SQLServer connect

FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。1.添加依赖参照官网需要添加如下两个jar包mysql-

问题记录清单1.使用StreamExecutionEnvironment创建StreamTableEnvironment写hive报错2.在IDE中无法写入hive3.flink使用catalog写入hive报错没有权限（相同问题在sparksql写入hive时也有）1.使用StreamExecutionEnvironment创建StreamTableEnvironment写hive报错问题描述：job在flink web界面中状态一直显示为restarting，检查job的exc.

声明：本节参考文章为阿里云开发者社区《Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？》TableEnvironment 是用来创建 Table & SQL 程序的上下文执行环境 ，也是 Table & SQL 程序的入口，Table & SQL 程序的所有功能都是围绕 TableEnvironment 这个核心类展开的。TableEnvironment 的主要职能包括：对接外部系统，表及元数据的注册和检索，执行SQL语句，提供更详细的配置选项