Apache Flink
flink学习,问题记录
Mathieu66
Apache Hudi Commiter
展开
-
Flink 动态读取Nacos配置
1.需求:实时读取Nacos的配置,打印在控制台2.额外的依赖: <dependency> <groupId>com.alibaba.nacos</groupId> <artifactId>nacos-client</artifactId> <version>1.4.2</version> </dependency>代码很简单,就直接贴了packa原创 2021-06-22 15:23:46 · 1934 阅读 · 2 评论 -
Flink集成Apollo获取配置V2
上一篇介绍了使用基础Java客户端接入Apollo的示例,有同学反映在分布式环境下获取不到Apollo配置,只能在main方法中初始化使用,姿势不够优雅。这里将Apollo的Java客户端将Flink官方推荐的ParameterTool结合使用,以解决该问题。package org.example;import com.ctrip.framework.apollo.ConfigFil...原创 2020-04-28 16:30:41 · 1322 阅读 · 0 评论 -
Flink集成Apollo实现获取配置信息
Apollo GitHub地址(除了代码,都是中文):https://github.com/ctripcorp/apolloJava客户端使用指南:https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97 开始之前多说两句,这...原创 2020-04-04 18:49:01 · 1616 阅读 · 6 评论 -
Flink on Yarn 日志输出
Flink on Yarn 模式下,业务应用内部配置的 logback.xml/log4j.properties 是无法加载的,Flink 会默认采用安装目录下的 $FLINK_HOME/logback.xml/log4j.properties 作为统一的 logger 定义文件。Flink 提供的 logback.xml/log4j.properties 只配置了 rootLogger,如果...原创 2020-01-09 11:50:39 · 4122 阅读 · 0 评论 -
Juggling with Bits and Bytes(转载)
目录Juggling with Bits and BytesHow Apache Flink operates on binary dataData Objects? Let’s put them on the heap!What is Flink doing about that?How does Flink allocate memory?How does Flink ...转载 2019-06-02 20:32:40 · 528 阅读 · 0 评论 -
Continuous Queries on Dynamic Tables(转载)
目录Continuous Queries on Dynamic TablesWhy is SQL on Streams a Big Deal?Flink’s Relational APIs: Table API and SQLContinuous Queries on Dynamic TablesDefining a Dynamic Table on a StreamQue...转载 2019-06-02 20:37:01 · 565 阅读 · 0 评论 -
Akka and Actors
目录Akka and ActorsAkka and the Actor ModelActor SystemsActors in FlinkJobManager & TaskManagerJobClientAsynchronous vs. Synchronous MessagesFailure DetectionFuture DevelopmentCo...转载 2019-06-11 23:51:15 · 408 阅读 · 0 评论 -
Flink 停机恢复(savepoint)入门示例
目标:使用flink从socket接收字符串,根据空格分割成单词,统计单词出现的次数。使用savepoint取消任务,恢复,使计算从上一次停止的地方继续。主程序:package com.ccclubs.state;import com.ccclubs.function.StatefulWordCountFunction;import com.ccclubs.model.WordWi...原创 2019-08-19 22:28:24 · 1546 阅读 · 0 评论 -
Introducing Complex Event Processing (CEP) with Apache Flink(转载)
目录Introducing Complex Event Processing (CEP) with Apache FlinkMonitoring and alert generation for data centersImplementation with Apache FlinkConclusionIntroducing Complex Event Processing (...转载 2019-06-02 20:30:16 · 329 阅读 · 0 评论 -
State TTL in Flink 1.8.0: How to Automatically Cleanup Application State in Apache Flink (转载)
https://flink.apache.org/2019/05/19/state-ttl.html(有空再翻译吧 ^_^)19 May 2019 Fabian Hueske (@fhueske) & Andrey ZagrebinA common requirement for many stateful streaming applications is to automati...转载 2019-06-01 20:19:54 · 580 阅读 · 0 评论 -
Flink有状态计算入门示例
需求:从socket接收字符串,按空格分隔成单词,统计单词出现的次数。直接看代码吧。主函数:FlinkStatefulCalcTest.javapackage com.ccclubs.flink;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.strea...原创 2019-04-11 21:07:10 · 3137 阅读 · 0 评论 -
Flink 官方文档学习 —《基本API概念》
目录基本API概念1. Dataset和DataStream2. Flink程序构成(Anatomy of a Flink Program)3. 延迟计算(Lazy Evaluation)4. 指定键(Specifying Keys)4.1 为Tuple定义键(Define keys for Tuples)4.2 使用字段表达式定义键(Define keys us...原创 2018-10-11 15:52:18 · 7663 阅读 · 0 评论 -
Flink程序打包 maven配置(scala版本)
在IDEA中开发Flink程序时,如果把Flink核心依赖包的scope设置为provided,测试会报NoClassDefFountError,但如果设置为compile,打包时核心包也会被打进去。一来包会很大,二来可能会引发jar包冲突,很不方便。官方给的建议是使用profile标签,提供可选择的scope范围。核心包scope值全部设置为provided,其他包缺省,配合profil...原创 2018-10-31 13:46:34 · 10031 阅读 · 2 评论 -
Flink v1.6.1 《Yarn 模式 高可用分布式集群部署》
目录1. Flink下载2. 环境准备2.1 软件要求2.2 集群部署规划3. 解压安装3.1 解压安装包3.2 修改配置文件3.3 发送到其他节点3.4 配置环境变量4. 启动5. 参考Flink高可用集群分为Standalone HA 和 YARN Cluster HA,这里只介绍 YARN Cluster HA。1. Flink下载安装...原创 2018-11-01 16:17:45 · 547 阅读 · 0 评论 -
Flink 《数据流编程模型》(Dataflow Programming Model Levels of Abstraction)
目录1. 抽象层次(levels of abstraction)2. 程序和数据流(programs and dataflows)3. 并行数据流(parallel Dataflows)4. 窗口(Window)5. 时间(Time)6. 有状态操作(stateful operations)7. 容错的检查点(checkpoints for fault toleranc...翻译 2018-12-24 10:15:53 · 671 阅读 · 0 评论 -
《Flink 技术内幕之 Data Streaming Fault Tolerance》(官网翻译)
目录一、介绍二、Checkpoint三、Barriers四、State 五、精确一次和至少一次六、异步状态快照七、Recovery八、Operator 快照实现一、介绍Apache Flink提供了一种容错机制,可以一致地恢复数据流应用程序的状态。该机制确保即使出现故障,程序的状态最终也将准确地反映数据流中的每条记录(exactly once)。请注意,有...翻译 2019-04-07 21:57:05 · 928 阅读 · 0 评论 -
《Flink 使用 JDBCAppendTableSink 操作 Mysql入门示例》 Java版
前面写了个Flink操作Mysql的示例,Scala版本的,不过是对照源码的翻译。这两天使用Java开发(boss说不要用scala),这里贴一下使用方法。超简单的,大家注意看下代码。mysql相关的依赖(kafka的自行添加) <dependency> <groupId>org.apache.flink</groupI...原创 2019-04-02 17:07:55 · 3724 阅读 · 0 评论 -
《Flink 技术内幕之 Jobs and Scheduling》(官网翻译)
目录一、Scheduling二、JobManager Data Structures本文简要描述了Flink如何调度作业,以及它如何表示和跟踪JobManager的作业状态。一、SchedulingFlink中的执行资源是通过任务槽(Task Slots)定义的。每个TaskManager将有一个或多个任务槽,每个任务槽可以运行一个并行任务管道。管道由多个连续的任务组成,例如M...翻译 2019-04-08 16:50:34 · 1135 阅读 · 0 评论 -
Flink v1.6.1 官方文档学习 —《DataStream API 之概述》
目录1. 示例程序2. DataSources3. DataStream 转换操作4. Data Sinks5. 迭代6. 执行参数6.1 容错6.2 控制延迟7. Debugging7.1 本地运行环境7.2 集合数据源7.3 迭代器SinkFlink DataStream程序是实现了data streams转换操作(比如过滤、更新状态、定义窗...原创 2018-10-12 11:32:39 · 1282 阅读 · 0 评论