![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 89
flink系列文章
浪尖聊大数据-浪尖
弓重好:浪尖聊大数据,主要分享大数据架构基础到入门的文章。
展开
-
快手基于 Flink 的持续优化与实践
摘要:本文由快手实时计算负责人董亭亭分享,主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括:Flink 稳定性持续优化Flink 任务启动优化Flink SQL 实践与优化未...转载 2021-03-09 21:37:00 · 230 阅读 · 0 评论 -
漫画|讲解一下如何写简历&项目
star法写项目的案例:深圳浪尖聊大数据有限公司2018.3-至今日志中心建设项目周期2020.2.10-2020.4.20成就经历简述2020.2.10-2020.5.20,在深圳...原创 2020-11-06 08:19:00 · 904 阅读 · 0 评论 -
Flink的处理背压原理及问题-面试必备
转自:https://zhuanlan.zhihu.com/p/38157397反压机制(BackPressure)被广泛应用到实时流处理系统中,流处理系统需要能优雅地处理反压(back...转载 2020-09-02 23:00:13 · 362 阅读 · 0 评论 -
专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享
整理 | 青渊(Flink 社区志愿者)校对 | 青雉(Flink 社区志愿者)摘要:本文根据 Apache Flink 系列直播整理而成,由美团点评数据系统研发工程师黄伟伦老师分享。主...转载 2020-07-17 23:21:57 · 274 阅读 · 0 评论 -
阿里巴巴大规模应用 Flink 的实战经验:常见问题诊断思路
整理:张宋庆(Flink 社区志愿者)校对:李庆(Flink 社区志愿者)摘要:本文由阿里巴巴高级运维工程师杨阳(时溪)分享,主要介绍阿里巴巴常见问题诊断模块与思路,内容涵盖以下几个方面...转载 2020-07-10 22:35:23 · 308 阅读 · 0 评论 -
核桃编程Delta Lake实时数仓应用实践
作者:卢圣刚,核桃编程数据架构师,拥有多年的大数据开发和架构经验。曾担任易观数据挖掘工程师,熊猫TV大数据架构师。核桃编程简介核桃编程成立于2017年8月9日,作为少儿编程教育行业的领导...转载 2020-06-25 22:39:10 · 665 阅读 · 0 评论 -
Flink在滴滴的应用与实践进化版
本文整理自Flink Forward 全球在线会议 ,分享者薛康,滴滴实时平台负责人,主要是是从以下四个方面介绍,flink在滴滴的应用与实践:Flink服务概览StreamSQL实践实...原创 2020-05-05 00:06:20 · 649 阅读 · 0 评论 -
从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践
摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主...转载 2020-02-18 15:11:37 · 310 阅读 · 0 评论 -
从开发到生产上线,如何确定集群大小?
翻译|毛家琦校对|秦江杰在 Flink 社区中,最常被问到的问题之一是:在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”,但这并非一个有用的答案。...转载 2020-02-10 19:59:23 · 427 阅读 · 0 评论 -
干货 | 起底eBay Flink的上云之路
供稿 | Rheos Team 徐朝晖编辑 | 顾欣怡本文2238字,预计阅读时间7分钟更多干货请关注“eBay技术荟”公众号 导读Apache Flink作为低延迟、高吞吐的大数据计...转载 2019-12-31 17:19:30 · 535 阅读 · 0 评论 -
基于 Apache Flink 和规则引擎的实时风控解决方案
对一个互联网产品来说,典型的风控场景包括:注册风控、登陆风控、交易风控、活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制...转载 2019-10-15 19:00:55 · 669 阅读 · 0 评论 -
Flink在多中心/边缘计算上的实践
转自:未知瞬间陈仕明 虎牙数据平台负责人,一直从事数据相关的工作,从最初的企业数仓,到互联网数仓架构,再到大数据系统架构,拥有十年以上的行业经验。在混合云、边缘计算等新...转载 2019-09-07 20:46:17 · 929 阅读 · 0 评论 -
一文精通flinkOnYarn
简介本文主要是讲解flink on yarn的部署过程,然后yarn-session的基本原理,如何启动多个yarn-session的话如何部署应用到指定的yarn-se...转载 2019-02-18 20:13:08 · 1161 阅读 · 2 评论 -
会了也要看的flink安装部署|适合阅读
Flink支持运行与所有的类linux环境,比如linux,mac os x 和cygwin(windows),要求一个master节点,一个或者多个worker节点。再...转载 2019-02-16 21:18:09 · 290 阅读 · 0 评论 -
浪尖原创flink视频第一弹
2019年与530球友一起学习~转载 2019-02-14 21:31:38 · 723 阅读 · 1 评论 -
Flink迭代操作末文-迭代流
Flink作为优秀的流处理框架,自有其独到之处,比如我们前面讲了:flink的神奇分流器-sideoutput这个可以用来分流,很方便的一次就可以对数据进行筛选返回。还有...转载 2019-01-22 22:30:00 · 631 阅读 · 1 评论 -
结合Spark讲一下Flink的runtime
Flink运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,on yarn都是要启动这两个角色。有点类似于MRv1的架构...原创 2018-11-20 00:00:00 · 742 阅读 · 0 评论 -
flink 有状态udf 引起血案一
场景最近在做一个画像的任务,sql实现的,其中有一个udf,会做很多事情,包括将从redis读出历史值加权,并将中间结果和加权后的结果更新到redis。大家都知道,fli...原创 2018-10-27 00:00:00 · 8824 阅读 · 12 评论 -
腾讯基于 Flink SQL 的功能扩展与深度优化实践
整理:戴季国(Flink社区志愿者)校对:苗文婷(Flink 社区志愿者)摘要:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化,内容包括:...转载 2021-02-13 08:19:07 · 449 阅读 · 0 评论 -
基于 Flink+Iceberg 构建企业级实时数据湖
Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次分...转载 2021-02-09 22:39:00 · 376 阅读 · 0 评论 -
生产实践 | 基于 Flink 的短视频生产消费监控
本文详细介绍了实时监控类指标的数据流转链路以及技术方案,大多数的实时监控类指标都可按照本文中的几种方案实现。 短视频生产消费监控 短视频带来了全新的传播场域和节目形态,小屏幕、快节奏成为...转载 2020-09-23 22:42:12 · 156 阅读 · 0 评论 -
Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略
之前笔者在介绍 Flink 1.11 Hive Streaming 新特性时提到过,Flink SQL 的 FileSystem Connector 为了与 Flink-Hive 集成的...转载 2020-08-22 23:02:39 · 388 阅读 · 1 评论 -
基于Apache Flink的爱奇艺实时计算平台建设实践
分享嘉宾:梁建煌爱奇艺编辑整理:张宇轩内容来源:Flink Forward Asia导读:随着大数据的快速发展,行业大数据服务越来越重要。同时,对大数据实时计算的要求也越来越高。今天会...转载 2020-08-06 22:22:45 · 268 阅读 · 0 评论 -
基于 Flink 搭建实时个性化营销平台?
在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中,某些中介机构会搜集大量的号并进行“养号”工作,即在一年周期里让这些号形成正常的消费、通讯记录,目的是...转载 2020-07-30 22:42:08 · 262 阅读 · 0 评论 -
Flink在快手实时多维分析场景的应用
分享嘉宾:董亭亭、徐明 快手编辑整理:王洪达内容来源:Flink Forward Asia出品平台:Flink中文社区、DataFunTalk导读:作为短视频分享跟直播的平台,快手有诸多...转载 2020-06-16 00:00:32 · 291 阅读 · 0 评论 -
深入解读 Flink 资源管理机制
整理:王文杰(Flink 社区志愿者)摘要:本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三...转载 2020-06-14 09:46:51 · 296 阅读 · 0 评论 -
趣头条基于 Flink+ClickHouse 构建实时数据分析平台
摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景,内容分为以下四部分:一、业务场景与...转载 2020-04-23 00:03:21 · 571 阅读 · 0 评论 -
基于 Flink 构建 CEP 引擎的挑战和实践
摘要:奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面:背景及现状技术架构产...转载 2020-01-28 08:55:08 · 531 阅读 · 0 评论 -
flink table窗口聚合的open函数未调用的bug分析
今天分析一下,flink table聚合udf AggregateFunction的open函数未被调用的bug。情景一:当然,对于udf的聚合操作,在flink里面有两种用法,一种是不...转载 2019-12-17 20:46:34 · 867 阅读 · 2 评论 -
spark比flink好用的点
也还是继续昨天的话题说吧。纯手机手打,感觉有用麻烦点个赞。开头还是那句话,spark是以批处理起家,发展流处理,所以微批处理吞吐优先,可以选用。flink以实...原创 2019-08-27 23:47:01 · 485 阅读 · 0 评论 -
说几个flink好做spark却不好做的场景
经常有粉丝问我该选flink和spark streaming?业务选型对新手来说是件非常困难的事情,对于经验丰富又经常思考的人来说就很简单。选型的时候个人准备知识...原创 2019-08-26 22:57:25 · 851 阅读 · 0 评论 -
flink一次对整个窗口进行聚合操作-ProcessWindowFunction
前面说了很多关于flink的windows相关原理的内容,今天讲一个flink的window相关操作的一个实战内容吧。首先,回顾一下Spark Streaming的win...原创 2019-03-05 21:09:14 · 18498 阅读 · 3 评论 -
blink解决的一个flink分析痛点
blink正在紧锣密鼓的与flink合并,作为flink开发者,大数据开发者,还是有必要测试一下的,经常有粉丝微信群里问浪尖会不会用blink,关于这点,我发过文章了:浪...转载 2019-02-27 22:24:46 · 3503 阅读 · 0 评论 -
不得不会的Flink Dataset的DeltaI 迭代操作
flink作为一个优秀的流处理框架,自有其独到之处,前面浪尖已经分享了很多了,比如下面几篇文章:Flink异步IO第一讲flink的神奇分流器-sideoutputFli...原创 2019-01-15 22:26:05 · 1596 阅读 · 0 评论 -
Flink异步IO第一讲
Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。对于实时处理,当需要使用...原创 2018-11-06 00:00:00 · 2893 阅读 · 2 评论 -
案例简介flink CEP
随着无处不在的传感器网络和智能设备不断收集越来越多的数据,我们面临着以近实时的方式分析不断增长的数据流的挑战。 能够快速响应不断变化的趋势或提供最新的商业智能可能是公司成...原创 2018-11-04 00:00:00 · 5252 阅读 · 0 评论 -
基石 | Flink Checkpoint-轻量级分布式快照
本文是Checkpoint系列非源码最后一篇文章。必会:关于SparkStreaming checkpoint那些事儿flink超越Spark的Checkpoint机制前...转载 2018-08-09 00:01:22 · 2131 阅读 · 0 评论 -
flink和spark Streaming中的Back Pressure
Spark Streaming的back pressure在讲flink的back pressure之前,我们先讲讲Spark Streaming的back pressu...原创 2018-07-16 00:00:00 · 1625 阅读 · 0 评论 -
基于Canal与Flink实现数据实时增量同步(一)
点击上方蓝色字体,关注我canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB)。...转载 2020-09-06 22:50:18 · 600 阅读 · 0 评论 -
Kylin Flink Cube 引擎的前世今生
Apache Kylin™ 是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,它能在亚秒内查询巨大...转载 2020-07-24 22:51:59 · 287 阅读 · 0 评论