前言:
sql作为一个高级的数据处理语言,在做数据开发和数仓分析师等岗位是必不可少的一项技能,本人一开始从事数据开发偏工程的职位,随着工作需要逐渐学习sql,sql的学习入门和使用其实相对不是很难,实际生产中要深刻的理解业务并且通过sql产出结果数据是相对的比较难,所以这篇博客的意义在于使大家在使用sql的同时可以了解flink sql的原理。
sql最为flink系统的最高等级语言
Flink批流一体的时间节点
在发布1.9.0版本的时候,阿里开源的blink planner 代替了flink原始的planner成为了默认的planner模块,从此版本正式以流代码为核心,重新设计算子真正意义实现了批流一体
Flink使用的sql解析器:calcite(和hive是一样的)
calcite 不存储的元数据和基本数据,只提供sql解析功能
Calcite 主要的功能
1,sql解析(Parser)
通过Java CC实现的,(通过一个配置文件可以根据语法和词法解析成可以执行的java程序代码)
经过javaCC把sql转换成可以执行的AST抽象语法树
2,sql校验(Validato)
把解析好的sql进行是否可执行的校验操作
1)语法的校验,看sql是否符合语法规范
2)词法的校验,校