Flink
文章平均质量分 91
云想慕尘
这个作者很懒,什么都没留下…
展开
-
flink 高可用 high-availability 配置的重试次数无效问题
问题背景我根据这篇博客https://blog.csdn.net/cndotaci/article/details/106870413的介绍,配置了flink基于yarn的高可用,测试时发现配置的任务失败重试2次没有生效,我测试到第6次时,任务仍然能够被yarn拉起如上图,除第一次手动启动外,下面的5次都是yarn的HA生效自动拉起。那么,下面配置中的重试次数为什么没有生效?flink版本:1.10.0flink-conf.yaml配置:$ grep -v ^# flink-conf.yaml原创 2020-07-02 07:46:44 · 2918 阅读 · 4 评论 -
flink yarn-session.sh启动任务指定的应用名和队列无效问题
问题背景我有一个hadoop集群和一台机器A.我在机器A上,使用命令:bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 &启动了一个yarn-session,其中,指定了队列root.flink和应用名fsql-cli。但是,在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致,如图:启动后,应用名为:Flink sess原创 2020-07-01 22:20:26 · 4872 阅读 · 0 评论 -
可能是史上覆盖flinksql功能最全的demo--part2
接上一篇文章可能是史上覆盖flinksql功能最全的demo–part1Flink SQL join Table的5种方式静态表常规join静态表常规join指的是:静态表join静态表例:按地区和优先级显示特定日期的客户及其订单-- 订单表dev_orders(基于S3的静态表) join MySQL表SET execution.type=batch;USE CATALOG hive;SELECT r_name AS `region`, o_orderpriority AS `pr原创 2020-06-21 23:32:34 · 343 阅读 · 0 评论 -
Flink on yarn 高可用环境配置 high-availability
1. 背景默认情况下一个flink job只启动一个jobManager,因此存在单点故障问题,所以生产环境中需要HA。因为生产环境中基于yarn集群的flink应用场景更多,本文只介绍基于yarn的flink高可用配置。2. 配置配置yarn集群级别AM重启上限# vim yarn-site.xml<property> <name>yarn.resourcemanager.am.max-attempts</name> <value>10原创 2020-06-20 12:05:37 · 1226 阅读 · 0 评论 -
使用Flink Metric Reporter 对flink任务指标进行监控
从flink1.8版本开始,reporter支持了将指标数据写入influxdb,用户可以自研可视化系统读取influxdb中的数据进行可视化。但是对中小型公司来讲,可能因为成本原因,大多并不会选择自研可视化,我们选择grafana进行flink metrics的可视化。本文主要重点讲述influxdb、prometheus为Reporter,将flink的metrics数据写入外部系统,并使用grafana进行可视化。安装配置方式手把手教学,如下:1. influxdb1.1 启动docker原创 2020-06-20 11:52:41 · 7116 阅读 · 1 评论 -
Flink中的时态表 Temporal Tables
flink中的临时表(temporal table)是什么,以及怎么创建临时表和临时表函数。临时表表示一个可变表上(参数化)视图的概念,该视图返回表在特定时间点的内容。翻译 2020-06-20 11:17:21 · 3813 阅读 · 2 评论