Flink
文章平均质量分 93
吃胡萝卜的鳄鱼
这个作者很懒,什么都没留下…
展开
-
Flink之CEP(复杂事件处理)
CEP概述复杂事件处理(Complex Event Processing,CEP)FLink CEP是在Flink中实现的复杂事件处理(CEP)库CEP允许在无休止的事件流中检测事件模式,让我们有机会掌握数据中重要的部分一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想要得到的数据-=-满足规则的复杂事件...原创 2020-05-27 22:27:15 · 2565 阅读 · 1 评论 -
FLink DataStream开发之Time与Window
TimeFlink 流式处理中,存在时间的不同概念Event Time: 事件的创建时间,通常由事件中的时间戳描述,相当于食品的生产日期Ingestion Time:数据进入flink的时间,相当于食品快递到你家的时间Processing Time:是每个执行基于时间操作的算子的本地系统时间,与机器相关 ,默认的时间属性就是 Processing Time ,相当于你吃到汉堡的时间通过...原创 2020-04-26 16:31:34 · 917 阅读 · 0 评论 -
flink Datastream之自定义connector
flink Datastream自定义source和sink,主要以mysql为例子原创 2020-04-21 16:06:09 · 1254 阅读 · 0 评论 -
flink Datastream开发之kafka(source&sink)
本文介绍基于kafkasource和sink的flink Datastream开发,包括消费kafka消息和将结果sink到kafka中原创 2020-04-21 15:23:37 · 3360 阅读 · 1 评论 -
Flink 批处理之DataSet(source、sink、Transformation)
介绍flink批处理开发流程,以及各类常用source&sink详细原创 2020-03-31 11:02:02 · 1825 阅读 · 0 评论 -
"第四代"大数据计算引擎Flink简介
Flink的引入什么是FlinkFlink流处理特性Flink基石批处理与流处理原创 2020-03-31 09:52:52 · 504 阅读 · 0 评论 -
解决flink启动后无法正常关闭
flink集群无法正常关闭使用命令stop-cluster.sh关闭flink集群的时候出现以下错误,No taskexecutor daemon to stop on host tanghc-X550JX.No standalonesession daemon to stop on host tanghc-X550JX.原创 2019-10-10 09:29:59 · 5583 阅读 · 7 评论 -
flink打包程序提交任务示例
工具maven、idea、flink1.9-2.11scala代码pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst...原创 2019-10-08 17:11:59 · 986 阅读 · 2 评论 -
Flink简介以及与sparkStreaming和Storm比较
Apache Flink 是一个开源的分布式,高性能,高可用,准确的流处理框架。对比另外俩主流的实时计算框架,Flink有着独特的魅力原创 2019-09-30 14:36:56 · 881 阅读 · 0 评论 -
Flink on yarn集群HA配置
1.集群规划Flink on yarn 的HA其实是利用yarn自己的恢复机制。在这里需要用到ZK,主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn自己的集群机制,但是在Flink job在恢复时,需要依赖检查点产生的快照,而这些快照虽然配置在hdfs,但是其元数据信息保存在zookeeper中,所以我们还要配置zookeeper的信息hadoop集群:mast...原创 2019-01-17 20:37:55 · 2119 阅读 · 0 评论 -
Flink Standalone 集群HA配置
flink笔记@tanghc1.HA集群环境规划2.配置3.验证HA切换1.HA集群环境规划使用三台节点实现两主两从集群(由于笔记本性能限制)jobmanager:master 、slave1Taskmanager:slave1、slave2(slave1是一台机器上同时跑jobmanager和Taskmanager)zookeeper:master 、slave1、slave2NOT...原创 2019-01-17 16:44:36 · 1216 阅读 · 0 评论