- 博客(24)
- 收藏
- 关注
RSS订阅转载 阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点
@https://unsplash.com/文| 章剑锋（简锋）笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核...
2019-09-30 10:30:00
175
原创 Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？
徐榜江（雪尽），Apache Flink Contributor，阿里巴巴计算平台事业部高级开发工程师，目前专注于 Flink SQL 模块的开发。本文为Flink S...
2019-09-29 11:30:00
1314
转载 如何构建批流一体数据融合平台的一致性语义保证？
本文根据陈肃老师在 Apache Kafka x FlinkMeetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架...
2019-09-27 11:39:43
887
原创 Flink on YARN（下）：常见问题与排查思路
杨弢（搏远），阿里巴巴计算平台事业部技术专家，Apache Hadoop Committer，目前专注于 YARN、Flink、YuniKorn 等开源项目的资源调度方向...
2019-09-26 11:00:00
3019
原创 Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
杨弢（搏远），阿里巴巴计算平台事业部技术专家，Apache Hadoop Committer，目前专注于 YARN、Flink、YuniKorn 等开源项目的资源调度方向...
2019-09-25 17:00:00
398
原创 Apache Flink 进阶（二）：时间属性深度解析
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由 Apache Flink Committer 崔星灿分享，阿里巴巴技术专家沙晟阳（成阳）整理。文章将对...
2019-09-23 11:30:00
379
原创 精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）
9 月 21 日下午，2019 年度最后一场 Meetup 在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的 Flink 应用实践、贝壳找房的实时...
2019-09-21 19:26:33
375
原创 Flink Checkpoint 问题排查实用指南
作者：邱从贤（山智）在 Flink 中，状态可靠性保证由 Checkpoint 支持，当作业出现 failover 的情况下，Flink 会从最近成功的 Checkpoint 恢复。在实际情况中，我们可能会遇到 Checkpoint 失败，或者 Checkpoint 慢的情况，本文会统一聊一聊 Flink 中 Checkpoint 异常的情况（包括失败和慢），以及可能的原因和排查思路。1. C...
2019-09-20 15:52:20
1518
原创 Apache Flink 进阶入门（二）：Time 深度解析
作者：崔星灿整理：沙晟阳（成阳）前言Flink 的 API 大体上可以划分为三个层次：处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API，这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因...
2019-09-20 15:46:27
271
原创 开篇 | 揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？
本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇，Flink SQL 系列文章由其核心贡献者们分享，涵盖基础知识、实践、调优、内部实现等各个方面，带你由浅入深地全面了解 Flink SQL。1. 发展历程今年的8月22日 Apache Flink 发布了1.9.0 版本(下文简称1.9)，在 Flink 1.9 中，Table 模块迎来了核心架构的...
2019-09-20 15:44:13
854
原创 Apache Flink 在同程艺龙实时计算平台的研发与应用实践
本文主要介绍 Apache Flink 在同程艺龙的应用实践，从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验，供大家参考。1.背景介绍在 2015 年初，为了能够采集到用户在 PC，APP 等平台上的行为轨迹，我们开始开发实时应用。那时可选的技术架构还是比较少的，实时计算框架这块，当时比较主流的有 Storm 和 Spark-stre...
2019-09-16 11:42:12
705
原创 回顾 | Apache Flink Meetup ·上海站（附PPT下载链接）
9 月 7 日，Apache Flink Meetup 上海站，上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容，并有 Demo 演示环节。《 Zeppelin 中玩转 Flink + Hive...
2019-09-16 11:39:05
393
1
原创 如果你也想做实时数仓…
作者：郭华（付空）数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。1.数据仓库简介数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Vo...
2019-09-12 18:54:37
301
原创 Apache Flink 进阶（一）：Runtime 核心机制剖析
作者：高赟（云骞）1. 综述本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。2. Flink Runtime 整体架构Flink 的整体架构如图...
2019-09-12 18:48:09
786
原创 如何在 Apache Flink 中使用 Python API？
作者：孙金城（金竹）整理：韩非本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink PMC，阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划，主要内容包括：Apache Flink Python API 的前世今生和未来发展；Apache Flink Python API 架构及开发环境搭建；Apache...
2019-09-12 18:41:34
1054
原创 如何在 Flink 1.9 中使用 Hive？
作者：李锐介绍：阿里巴巴技术专家，Apache Hive PMC，加入阿里巴巴之前曾就职于 Intel、IBM 等公司，主要参与 Hive、HDFS、Spark 等开源项目。Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍...
2019-09-06 15:29:49
2320
原创 如何正确使用 Flink Connector？
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。Flink Streaming ConnectorFlink 是新一代流批统一的计算引擎，它需要从不同的第三方存...
2019-09-06 15:28:37
601
原创 Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 ：https://developer.aliyun.com/live/1416演示代码已经开源到了 GitHub 上：ht...
2019-09-06 15:27:23
1366
1
原创 监控系统哪家强？eBay 在监控系统上的实践应用！
来源 | eBay Unified Monitoring Platform翻译 | 顾欣怡Sherlock.IO 是 eBay 现有的监控平台，每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。本文将结合监控系统 Flink 的现状，具体讲述 Flink 在监控系统上的实践和应用，希望给同业人员一些借鉴和启发。##一. 监控系统...
2019-09-06 15:23:43
1345
1
原创 58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密
Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具，并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。背景58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务，主要基于 S...
2019-09-06 15:22:00
235
原创 小红书如何实现高效推荐？解密背后的大数据计算平台架构
作者：郭一整理：董黎明本文整理自2019阿里云峰会·上海开发者大会开源大数据专场中小红书实时推荐团队负责人郭一先生现场分享。小红书作为生活分享类社区，目前有8500万用户，年同比增长为300%，大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一，本文主要分享在推荐业务场景中小红书的实时计算应用。实时计算在推荐业务中的场景线上推荐流程小红书线上推荐的流程主要可以...
2019-09-06 15:20:47
806
原创 Apache Flink 零基础入门（八）： SQL 编程实践
作者：伍翀（云邪）本文是 Apache Flink 零基础入门系列文章第八篇，将通过五个实例讲解 Flink SQL 的编程实践。注： 本教程实践基于 Ververica 开源的 sql-training 项目。基于 Flink 1.7.2 。通过本课你能学到什么？本文将通过五个实例来贯穿 Flink SQL 的编程实践，主要会涵盖以下几个方面的内容。如何使用 SQL CLI 客户...
2019-09-06 15:18:38
1291
原创 Apache Flink 零基础入门（七）：Table API 编程
作者：程鹤群（军长）**文章概述：**本文主要包含三部分：第一部分，主要介绍什么是 Table API，从概念角度进行分析，让大家有一个感性的认识；第二部分，从代码的层面介绍怎么使用 Table API；第三部分，介绍 Table API 近期的动态。文章结构如下：什么是 Table APIFlink API 总览Table API 的特性Table API 编程WordCo...
2019-09-04 17:30:33
1120
原创 Apache Flink 零基础入门教程（六）：状态管理及容错机制
作者：孙梦瑶整理：韩非本文主要分享内容如下：状态管理的基本概念；状态的类型与使用示例；容错机制与故障恢复；一.状态管理的基本概念1.什么是状态首先举一个无状态计算的例子：消费延迟计算。假设现在有一个消息队列，消息队列中有一个生产者持续往消费队列写入消息，多个消费者分别从消息队列中读取消息。从图上可以看出，生产者已经写入 16 条消息，Offset 停留在 15 ；有 3 个消...
2019-09-04 00:11:48
606
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人