2019年11月_Apache Flink

原创都在这儿了！Flink Forward Asia 最佳参会指南

11 月 28 日（本周四），Flink Forward Asia 2019 即将重磅开启！为了让大家更全面、充分的了解大会内容，找到最佳参会方式，Flink 社区整理了...

2019-11-26 12:07:50 625 1

原创藏不住了，Flink 未来发展的最新方向在这里！

距离 11 月 28 日 Flink Forward Asia 大会重磅开启还剩 3 天！之前我们详细介绍了围绕 Apache Flink 及其核心技术开设的五大专场，包括：五大专题详细内容。除分会场细分方向的主要内容外，Flink Forward Asia 2019 主会场更以顶级阵容与你一起探索强大算力关键技术与数字化转型未来风向。主会场亮点概览：阿里巴巴集团首席技术官，阿里云智能总裁张建锋开...

2019-11-25 21:52:33 1495 1

原创 Flink 实战：如何解决生产环境中的技术难题？

大数据作为未来技术的基石已成为国家基础性战略资源，挖掘数据无穷潜力，将算力推至极致是整个社会面临的挑战与难题。Apache Flink 作为业界公认为最好的流计算引擎，不...

2019-11-21 08:34:00 1331 1

原创 Flink 在人工智能领域的应用实践

人工智能是未来十年最重要的技术革命与驱动力，在各行各业产生着日益重要的作用，它与大数据的发展相辅相成，不仅推动人类社会迈入更智慧的世界，也为数据的应用带来无可估量的价值。...

2019-11-20 11:38:13 1679 2

转载实用干货！大数据入门的常用技术栈全在这里了

大数据自 2009 年走向人们的视野，亦如所有新技术的发展，经历了一波炒作后，由风口回归理性发展。我们可以看到，随着 IOT 技术的发展和成熟，以及 5G 业务的全面铺开，数据规模还将持续增长。新晋技术风口 AI、区块链、RPA 的发展也都离不开大数据技术。大数据技术将作为一项通用技术，应用在各个角落。同时，大数据技术的发展也由解决数据规模问题，发展到如何更高效地消费大数据，数据的实时性、云上迁移...

2019-11-19 14:18:48 945 2

原创如何分析及处理 Flink 反压？

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上...

2019-11-18 15:10:00 2027 2

原创基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助...

2019-11-15 14:42:14 2549 3

原创 Apache Flink 进阶（八）：详解 Metrics 原理与实战

本文由 Apache Flink Contributor 刘彪分享，对什么是 Metrics、如何使用 Metrics两大问题进行了详细的介绍，并对 Metrics 监控实战进行解释说明。什么是 Metrics？Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，...

2019-11-14 14:54:23 3149 4

原创开源大数据生态下的 Flink 应用实践

过去十年，面向整个数字时代的关键技术接踵而至，从被人们接受，到开始步入应用。大数据与计算作为时代的关键词已被广泛认知，算力的重要性日渐凸显并发展成为企业新的增长点。Apa...

2019-11-13 14:55:26 617 4

原创 Flink State 有可能代替数据库吗？

有状态的计算作为容错以及数据一致性的保证，是当今实时计算必不可少的特性之一，流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界...

2019-11-12 11:25:26 539 3

原创咱也过个双 11 ！Flink Forward Asia 培训门票买一赠一！

近20 年，整个社会面临着数字化的时代巨变，手中的手机不断迭代升级，送到家里的快递越来越快，个人信息上传云端，人与人的联结依靠数据能够跨越山海。“快”成为整个社会、企业、个人必须适应的节奏。Apache Flink（以下简称 Flink）在此背景下应运而生，成为数字时代实时、快速计算必不可少的存在。作为业界公认为最好的流计算引擎，Flink 的计算能力不仅仅局限于做流处理，而是一套兼具流、批、机...

2019-11-11 14:23:05 337 2

转载 Flink 流式计算在节省资源方面的简单分析

本文由小米的王加胜同学分享，文章介绍了 Apache Flink 在小米的发展，从 Spark Streaming 迁移到 Flink ，在调度计算与调度数据、Mini batch 与 streaming、数据序列化等方面对比了 Spark Streaming 和 Flink 的一些区别。Flink 在小米的发展简介小米在流式计算方面经历了 Storm、Spark Streaming 和 Flin...

2019-11-08 13:53:39 567 2

原创 Apache Flink 为什么能够成为新一代大数据计算引擎？

众所周知，Apache Flink（以下简称 Flink）最早诞生于欧洲，2014 年由其创始团队捐赠给 Apache 基金会。如同其他诞生之初的项目，它新鲜，它开源，它...

2019-11-07 12:57:04 384 1

转载趣头条基于 Flink 的实时平台建设实践

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。一．平台架构1.Flink 应用时间线首先是平台的架构，2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的。目前，基本已经把 Spark Streaming 和 Storm 淘汰了，主要都是 Flink SQ...

2019-11-06 21:37:09 906 1

转载 Apache Flink 的迁移之路，2 年处理效果提升 5 倍

一、背景与痛点在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。但是到了 2016 年底和 2017 年上半年，发现这个框架存...

2019-11-05 16:50:58 360

转载咱们从头到尾讲一次 Flink 网络流控和反压剖析

本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享，社区志愿者张友亮整理。主要内容如下：网络流控的概念与背景TCP 的流控机制Flink TCP-based 反压机制（before V1.5）Flink Credit-based 反压机制（since V1.5）总结与思考网络流控的概念与背景1. ...

2019-11-04 16:58:34 806 1

Ververica的博客