简介
未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习FlinkSQL势在必行。
本博客在sql-client(Flink自带的sql执行器)中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Hive传输到MySQL具体操作,本例子Flink版本1.13.6,具体操作如下:
创建mysql测试目标表
下面是创建mysql测试目标表的例子
CREATE TABLE `mysql_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
PRIMARY KEY (`id`)
)
COMMENT = 'mysql目标'
ENGINE = InnoDB;
在hive的default数据库中创建hive表并插入数据
CREATE TABLE IF NOT EXISTS hive_source(id BIGINT comment '主键',name string comment '名称',create_time string) PARTITIONED BY (ymd st