flink
文章平均质量分 64
flink
没有合适的昵称
个人工作学习笔记
展开
-
论一次flink checkpoint失败的排查过程
Container id: container_e910_1637406318221_42547_01_000003Exit code: 1Shell output: main : command provided 1main : run as user ismain : requested yarn user isGetting exit code file…Creating script paths…Writing pid file…Writing to tmp file 10_1637原创 2021-12-24 13:58:08 · 3123 阅读 · 1 评论 -
如何监听flinksql查询mysql的频率
1.在mysql的目录下, 找到my.ini文件, 然后在其中加入:[mysqld]log = "D:/Mysql5.5.61/mysql_log.sql"2.重启mysql服务3.这时候在mysql中执行任意语句, 均能在D:/Mysql5.5.61/mysql_log.sql中查看到flink sql mysql source lookup.cache.ttl据测试, 本单位是ms, 并非s以下实验均在本地中, 断点 JdbcRowDataLookupFunctionFOR SYS原创 2021-12-14 21:49:32 · 2009 阅读 · 0 评论 -
flink 常见问题汇总
代码如下:import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.table.api.DataTypes;import org.apache.flink.table.api.Table;import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;import org.apach原创 2021-10-05 21:51:34 · 4829 阅读 · 0 评论 -
flink流处理API
EnvironmentgetExecutionEnvironment创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。val env: Exec...原创 2020-02-18 10:54:39 · 1659 阅读 · 0 评论 -
flink运行架构
任务提交流程(yarn模式)Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster,ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动JobManage...原创 2020-02-17 09:55:15 · 1397 阅读 · 0 评论 -
初识flink
单机安装前提:jdk1.8下载:https://flink.apache.org/downloads.html目前的最新版本1.9.1,注意选择你的scala版本下载以后上传到虚拟机中,解压:tar -zxvf flink-1.9.1-bin-scala_2.11.tgzcd flink-1.9.1bin/start-cluster.sh有上面两个进程,说明已经安装成功http...原创 2019-11-17 17:42:47 · 585 阅读 · 0 评论