![](https://img-blog.csdnimg.cn/2020111700001991.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink实战
文章平均质量分 54
Flink开发中的一些经验心得
白夜鸦羽
初学者的心,好奇与敬畏
展开
-
[问题踩坑]Flink SQL CDC维表查询异常:User does not have the ‘LOCK TABLES‘ privilege required to obtain a ……
背景使用Flink SQL CDC模式创建维表如下CREATE TABLE cdc_test( id STRING, ip STRING, url STRING, PRIMARY KEY (id) NOT ENFORCED) WITH ( 'connector' = 'mysql-cdc', -- Flink 1.11之后才支持 'hostname' = '127.0.0.1', 'port' = '3306', 'databa原创 2021-03-04 16:58:06 · 3485 阅读 · 0 评论 -
解析和校验Flink SQL语句
Flink对SQL的支持是基于Apache Calcite实现的,且Flink包中集成了Apache Calcite,所以我们可以直接调用Flink包中的SQL解析类,来解析和校验我们的Flink SQL语句。import org.apache.calcite.avatica.util.Casing;import org.apache.calcite.sql.SqlNode;import org.apache.calcite.sql.parser.SqlParser;import org.apach原创 2020-12-18 16:44:22 · 3312 阅读 · 8 评论 -
Flink常用监控API
通常,我们可以通过Flink WebUI来查看和监控Flink任务的运行状态,如图但如果我们要基于Flink自建一个实时计算平台,则不能依赖于Flink WebUI,而需要自己实现Flink任务状态的查看和监控了。实际上,Flink有一套自己的监控REST API,Flink WebUI也是基于这套监控API实现的,我们可以调用官方提供的监控API,来实现我们自己想要的参数查看和状态监控功能。下面的表格列举了常用的Flink监控REST API:请求方法接口功能参数GET原创 2020-12-02 16:35:35 · 4162 阅读 · 1 评论 -
[资源分享]Flink传送门(官网、社区、官方文档……)
Flink官方社区,有视频教程和实践文章:Flink中文社区VervericaFlink官网:Flink官方首页Flink官方文档:Flink官方文档出Bug上这里搜一搜,问题都是相似的:Flink 中文用户邮件列表阿里的Flink SQL文档,开发的时候很有参考意义:阿里云Flink SQL开发文档阿里云邪大佬的博客:阿里云邪大佬的博客博客很多Flink干货:大数据技术与应用实战...原创 2020-11-29 22:58:47 · 974 阅读 · 0 评论 -
基于Docker快速搭建Hadoop集群和Flink运行环境
前言234前言本文主要讲,基于Docker在本地快速搭建一个Hadoop集群和Flink运行环境,用于日常Flink任务运行测试。前任栽树,后人乘凉,我们直接用Docker Hadoop镜像kiwenlau/hadoop-cluster-docker来搭建,这个镜像内已经配置部署好了Hadoop 2.7.2,感谢前辈们造好轮子。该Docker Hadoop镜像优点:基于Docker快速搭建多节点Hadoop集群我们要搭建一个3节点的Hadoop集群,集群架构如下图,一个主节点hadoo.原创 2020-11-29 22:43:59 · 3028 阅读 · 3 评论 -
[问题踩坑]Flink 1.11.1 on Yarn Application模式时,JobId始终为00000000000000000000000000000000
使用Yarn Application模式启动Flink任务的命令如下./bin/flink run-application -t yarn-application hdfs://hadoop-master:9000/shadow/FlinkSQLTest-1.0-SNAPSHOT.jar当Flink 任务启动后,发现JobId异常始终为00000000000000000000000000000000,而正常的JobId应该为一个随机的字符串这是因为Flink的配置文件conf/flink-conf.原创 2020-11-29 20:50:02 · 2890 阅读 · 8 评论 -
[问题踩坑]Flink 1.11.1 SQL View中UDTF调用异常 Column ‘xxx‘ not found in any table
在Flink 1.11.1版本中,执行下面的Flink SQL,会抛出异常:“org.apache.calcite.sql.validate.SqlValidatorException: Column ‘message’ not found in any table”-- 创建kafka数据源表test_tableCREATE TABLE test_table( username STRING, message STRING) WITH ( 'connector' =原创 2020-11-27 00:02:00 · 2346 阅读 · 0 评论