大数据技术博客

主要关注大数据周边技术 hadoop spark storm flink等...

flink中文文档-目录v1.4

Flink入门及实战-上: http://edu.51cto.com/sd/07245 Flink入门及实战-下: http://edu.51cto.com/sd/5845e   flink1.4中文文档 第一次翻译文档,如果有错误之处,还望谅解,有问题可以私信或者在对应的翻译内容下面...

2018-03-09 00:07:01

阅读数:1729

评论数:0

Flink Table API 和 SQL之概述

Flink针对标准的流处理和批处理提供了两种相关的API,Table API和sql。TableAPI允许用户以一种很直观的方式进行select 、filter和join操作。Flink SQL支持基于 Apache Calcite实现的标准SQL。针对批处理和流处理可以提供相同的处理语义和结果。...

2018-11-23 15:05:34

阅读数:158

评论数:0

Flink EventTime和Watermarks案例分析

目录 解释: 1:实现watermark相关代码 1.1:程序说明 1.2:代码如下 1.3:程序详解 2:通过数据跟踪watermark的时间 3:watermark+window处理乱序数据 4:late element(延迟数据)的处理 4.1:丢弃(默认) 4.2:al...

2018-10-22 12:51:32

阅读数:275

评论数:0

如何停止flink job

两种方式,在standalone和on yarn集群中都是适用的1:在ui界面停止2:在命令行停止在ui界面停止假设已经成功提交到集群一个任务,查看集群webui界面在命令行停止:先查询目前在运行的job任务列表执行bin/flink list命令,发现有一个正在运行的job使用cancel命令进...

2018-04-01 17:24:07

阅读数:1330

评论数:0

Flink 状态与容错 ( state 和 Fault Tolerance)

Flink 状态与容错状态性的函数和操作通过处理单个(元素/事件)存储数据,使任何类型的state构建更复杂的操作。例如:当应用程序针对特定事件模式进行搜索的时候,state将会存储到目前为止的一些列事件。当每 分钟/小时/天 聚合事件的时候,state会持有所有等待聚合的数据。当在一连串的数据流...

2018-03-31 20:40:46

阅读数:606

评论数:0

Flink Distributed Cache 分布式缓存

Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件。此功能可用于共享文件,包含静态的外部数据,例如字典或者machine-learned回归模型。 此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过Exe...

2018-03-31 00:06:22

阅读数:736

评论数:0

Flink accumulator Counter 累加器 和 计数器

Accumulators(累加器)是非常简单的,通过一个add操作累加最终的结果,在job执行后可以获取最终结果 最简单的累加器是counter(计数器):你可以通过Accumulator.add(V value)这个方法进行递增。在任务的最后,flink会吧所有的结果进行合并,然后把最终结果发...

2018-03-30 23:32:37

阅读数:942

评论数:0

Flink Broadcast 广播变量

Broadcast 广播变量:一句话解释,可以理解为是一个公共的共享变量,我们可以把一个dataset 数据集广播出去,然后不同的任务在节点上都能够获取到,这个数据在每个节点上只会存在一份。如果不使用broadcast,则在每个节点中的每个任务中都需要拷贝一份dataset数据集,比较浪费内存(也...

2018-03-30 09:18:17

阅读数:1674

评论数:0

Flink HA安装配置实战

Flink HA配置文档   详细HA原因及原理介绍说明请查看此博客链接,https://blog.csdn.net/xu470438000/article/details/79633824   本文档只涉及HA具体安装步骤 Flink Standalone集群HA配置 1. HA集群...

2018-03-25 08:57:55

阅读数:656

评论数:1

Flink HA配置

JobManager 高可用(HA) jobManager协调每个flink任务部署。它负责调度和资源管理。 默认情况下,每个flink集群只有一个JobManager,这将导致一个单点故障(SPOF):如果JobManager挂了,则不能提交新的任务,并且运行中的程序也会失败。 使用Job...

2018-03-22 09:07:55

阅读数:716

评论数:0

flink yarn-session的两种使用方式

  flink on yarn模式中,flink yarn-session的两种使用方式分析 第一种:在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。 第二种(推荐):每次提交都会创建一个新的flin...

2018-03-20 22:39:16

阅读数:1140

评论数:0

流计算框架 Flink 与 Storm 的性能对比

1. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时...

2018-03-18 14:54:39

阅读数:212

评论数:0

flink on yarn 集群模式启动报错及解决方案汇总

注意:想要使用flink on yarn 模式,需要确保hadoop集群启动成功,并且需要在yarn的某一个节点上面执行flink on yarn的脚本   没有启动hadoop集群,执行flink的bin/yarn-session.sh脚本会报下面错误 脚本会一直卡在这里,一直输出重试日志...

2018-03-17 21:58:07

阅读数:1611

评论数:1

flink部署操作-flink on yarn集群安装部署

flink集群安装部署 yarn集群模式   Flink入门及实战-上: http://edu.51cto.com/sd/07245 Flink入门及实战-下: http://edu.51cto.com/sd/5845e   快速开始 在yarn上启动一个一直运行的flink集群 ...

2018-03-16 09:32:05

阅读数:5238

评论数:1

flink部署操作-flink standalone集群安装部署

flink集群安装部署   standalone集群模式   必须依赖 必须的软件 JAVA_HOME配置 flink安装 配置flink 启动flink 添加Jobmanager/taskmanager 实例到集群 个人真实环境实践安装步骤   必须依赖 必须的软件 flin...

2018-03-16 09:28:29

阅读数:2385

评论数:1

flink项目开发-flink的scala shell命令行交互模式开发

flink的 scala shell命令行交互模式开发 flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试):   bin/start-scala-shell.sh ...

2018-03-12 09:37:36

阅读数:584

评论数:1

flink基本原理及应用场景分析

Apache Flink 是一个开源的分布式,高性能,高可用,准确的流处理框架。支持实时流处理和批处理 flink特性   支持批处理和数据流程序处理 优雅流畅的支持java和scala api 同时支持高吞吐量和低延迟 支持事件处理和无序处理通过SataStream API,基于...

2018-03-11 11:14:26

阅读数:6464

评论数:0

flink项目开发-配置jar依赖,连接器,类库v1.4

Flink 免费视频直播课程地址:https://ke.qq.com/course/283798 配置依赖,连接器,类库 每个Flink应用程序依赖于一组Flink库。在最低限度,应用程序只依赖Flink api。许多应用程序依赖特定的连接器库(如kafka,cassandra,等等)。Fli...

2018-03-11 00:06:12

阅读数:2476

评论数:0

flink实例开发-batch批处理实例v1.4

batch批处理实例 下面的示例程序将展示flink的不同应用程序从简单的单词计数到图计算。示例代码演示使用Flink的DataSet API。 以下的全部源代码和更多的例子可以在flink源码仓库的flink-examples-batch或者flink-examples-streaming模...

2018-03-10 22:56:00

阅读数:1772

评论数:0

flink实例开发-详细使用指南v1.4

Flink入门及实战-上: http://edu.51cto.com/sd/07245 Flink入门及实战-下: http://edu.51cto.com/sd/5845e flink实例开发-详细使用指南   配置一个maven项目 编写一个flink程序 编程实战:编写一个向...

2018-03-10 17:50:00

阅读数:14245

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭