- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 菜鸟供应链实时数据技术架构的演进
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文来自阿里巴巴的缘桥的分享，讲解了菜鸟实时架构的演进过程以及Flink在其中扮演的作用。我们...
2019-12-30 00:00:00
336
转载 趣头条实战 | 基于Flink+ClickHouse构建实时数据平台
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！如果你对ClickHouse不了解，请参考：《你需要懂一点ClickHouse的基础知识》《战...
2019-12-29 00:00:00
1670
转载 Apache Flink新场景 | OLAP引擎
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文作者来自阿里巴巴的贺小令，探讨了Flink在OLAP中的应用，之前我个人写过两篇关于OLA...
2019-12-28 14:07:18
669
转载 15个多线程相关的面试题
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：Java并发编程问题是面试过程中很容易遇到的问题，提前准备是解...
2019-12-27 00:00:00
255
转载 说说Flink DataStream的八种物理分区逻辑
By大数据技术与架构场景描述：Spark的RDD有分区的概念，Flink的DataStream同样也有，只不过没有RDD那么显式而已。Flink通过流分区器StreamPartitio...
2019-12-26 00:00:00
876
转载 只有2G内存，在10G数据量怎样找到中位数？
题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可（内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的...
2019-12-25 00:00:00
822
转载 Spark面对OOM问题的解决方法及优化总结
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出map执...
2019-12-24 00:00:00
298
转载 Spark 动态资源分配(Dynamic Resource Allocation) 解析
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark 默认采用的是资源预分配的方式。这其实也和按需做资源分配的理念是有冲突的。这篇文章会...
2019-12-23 00:00:00
520
转载 Kafka的分区数与多线程消费探讨
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！典型的high-level Consumer的API如下： Properties props ...
2019-12-22 17:18:52
576
转载 Kafka源码阅读最最最简单的入门方法
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！1 消息处理入口以下是Kafka消息处理的入口，即客户端发送到服务端消息处理方法。/** ...
2019-12-21 20:50:07
417
转载 Yarn调度队列
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！1 概述在Yarn中，负责给应用分配资源的是Scheduler，并提供了多种调度器和可配置的策...
2019-12-20 08:00:00
315
转载 Apache Kafka 2.4.0 发布 | 求求你别更了~
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Apache Kafka 2.4.0 已发布，此版本新增了不少新功能，其中包括：允许消费者从最...
2019-12-19 22:16:37
685
转载 State Processor API：如何读取，写入和修改 Flink 应用程序的状态
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！过去无论是在生产中使用，还是调研 Apache Flink，总会遇到一个问题：如何访问和更新 ...
2019-12-19 22:16:37
308
转载 一个简单的问题 | 分布式副本一致性
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！当我们开发大数据应用时， 通常会接触到数据一致性，通常为了提高数据的高可用性，防止单点数据故障...
2019-12-18 22:30:10
264
转载 Flink滑动窗口原理与细粒度滑动窗口的性能问题
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：Flink的窗口机制是其底层核心之一，也是高效流处理的关键。F...
2019-12-17 22:26:07
936
1
转载 分布式开放消息系统(RocketMQ)的原理与实践
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：这篇文章已经不能保证是否已经过时，由于当前的业务中也没有在使用...
2019-12-15 11:53:54
259
转载 下次我问你MySQL优化你要这么回答
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：说起MySQL的查询优化，相信大家收藏了一堆奇技淫巧：不能使用...
2019-12-14 15:38:29
286
转载 做数据开发就不需要了解G1了么？
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！最近在看关于G1垃圾收集的文章，看了很多国内与国外的资料，本文对G1的这些资料进行了整理。这篇...
2019-12-12 22:36:33
325
转载 基于Flink快速开发实时TopN
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行...
2019-12-10 21:37:24
875
转载 使用 Apache Flink 开发实时 ETL
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用...
2019-12-09 22:12:16
496
原创 Apache Spark在海致大数据平台中的优化实践
本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。大数据数据平台的核心组成部分多数据整合自助式数据准备...
2019-12-08 19:00:14
1920
原创 企业级数据中台建设指南
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分...
2019-12-07 18:20:38
467
转载 不要给自己设限
这两天看到一个简历。从最基础的Java开发到数据开发到算法，甚至比较冷门的网络安全都有涉猎。然后就多聊了两句工作以外的事情。发现这位同学思路十分清晰，说话也很有条理。说起工作上的事情，思...
2019-12-05 22:23:01
229
原创 Flink 面试通关手册
概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者...
2019-12-05 21:51:05
3000
2
原创 Flink面试通关手册
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink ...
2019-12-04 22:04:27
729
转载 Flink Source/Sink探究与实践：RocketMQ数据写入HBase
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言最近我们正在尝试把原有的一些Spark Streaming任务改造成Flink Strea...
2019-12-03 00:00:00
2263
1
原创 Spark/Flink广播实现作业配置动态更新
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言在实时计算作业中，往往需要动态改变一些配置，举几个栗子：实时日志ETL服务，需要在日志的格...
2019-12-02 00:00:00
832
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人