- 博客(732)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 搞透Kafka的存储架构，看这篇就够了
阅读本文大约需要30分钟。这篇文章干货很多，希望你可以耐心读完。 从这篇文章开始，我将对Kafka 专项知识进行深度剖析，今天我就来聊聊 kafka 的存储系统架构设计， 说到...
2021-11-02 08:41:00
162
转载 Apache Pulsar 调研
Apache Pulsar1. Kafka 概述1.1 现存问题1.3 优点1.4 缺点2. Pulsar 架构2.4.1 三种写路由策略2.4.2 四种读下发策略2.4.3 Pull &...
2021-11-01 08:41:00
565
转载 聊聊Kafka中值得我们学习的优秀设计
我们今天来聊一聊Kafka中优秀的设计，希望可以提高你的设计能力、写代码能力！一.Kafka基础 消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓...
2021-10-28 08:40:23
309
转载 大数据转型方案：首推数据湖！
数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块...
2021-10-25 08:40:22
332
转载 Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析)
基于flink1.14的源码做解析公司内有很多业务方都在使用我们Flink sql平台做TopN的计算，今天同事突然问到我，Flink sql 是怎么实现topN的 ？蒙圈了，这块源码没看...
2021-10-24 18:31:00
398
转载 Flink SQL 之 Calcite Volcano优化器（源码解析）
Calcite作为大数据领域最常用的SQL解析引擎，支持Flink , hive, kylin , druid等大型项目的sql解析同时想要深入研究Flink sql源码的话calcit...
2021-10-23 18:31:00
782
转载 读文笔记：Kafka 官方设计文档
原文：http://kafka.apache.org/documentation/#design数据持久化不用惧怕文件系统磁盘的读写速度，取决于如何读写。对于线性读写方式，操作系统做了充分...
2021-10-21 08:41:00
139
转载 TB级微服务海量日志监控平台
来源：cnblogs.com/dengbangpang/p/12961593.html我们的解决方案我们的架构日志可视化本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产...
2021-10-20 08:41:00
103
转载 Kafka Producer 实现源码分析
前言拥抱变化接手了 Kafka 平台，遂学习0.10.0线上版本的设计与实现。限于篇幅，本文不会逐行解析源码，而是从逻辑流程、设计模式、并发安全等方面学习各组件，笔记仅供个人 Revi...
2021-10-19 08:41:00
380
转载 腾讯 Code Review 规范出炉！
来源：腾讯技术工程，作者：cheaterlin，腾讯 PCG 后台开发工程师前言作为公司代码委员会 golang 分会的理事，我 review 了很多代码，看了很多别人的 review 评...
2021-10-17 18:31:00
335
转载 《深入理解 JVM 3ed》读书笔记
前言刷豆瓣看到《深入理解 JVM》出第三版了，遂买之更新 JVM 知识，本文为笔记，仅供个人 Reviewch02. Java 内存区域与内存溢出2.1 运行时数据区域参考：JVM 规范，...
2021-10-14 08:41:00
320
转载 神器 JMH + Arthas 性能监控
来源 |bryantchang.github.io/2019/12/08/java-profile-tools/问题描述JMH简介Arthas 我的代码在运行时到底做了什么实际操作监控方...
2021-10-12 08:41:00
493
转载 实时离线一体大数据在资产租赁saas服务中使用
目录流水查询需求什么是实时数据即时查询系统架构实现扩大业务覆盖率大数据需求实时离线一体化系统之技术架构实时离线一体化系统之数据流实时离线一体化接入数据仓库分层规范化预计算方案(Kylin+...
2021-10-07 18:31:00
322
原创 实时平台如何管理多个 Flink 版本？（上）
为啥会出现多个版本？Flink 社区本身迭代速度非常快，目前阿里云有一大波的人专职做 Flink 开源，另外还拥有活跃的社区贡献者，所以功能开发较快，bug 修复速度较快，几乎每 4 个月...
2021-09-30 08:41:00
557
1
转载 突发！LayUI宣布下线
来源 |https://www.cnblogs.com/mqingqing123/p/15329717.html缘起偶然的事件，看到 LayUi（读音 "类UI"）官方说，LayUI官网...
2021-09-27 08:38:39
247
翻译 重磅！Apache Kafka 3.0 发布！
我很高兴代表 Apache Kafka® 社区宣布 Apache Kafka 3.0 的发布。Apache Kafka 3.0 是一个涉及多方面的大版本。Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进——Apache Kafka 的内置共识机制将取代 Apache ZooKeeper™。虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调。我们
2021-09-23 10:40:25
10355
9
转载 Kafka 的存储机制以及可靠性
一、kafka的存储机制1、segment2、读取数据二、可靠性保证1、AR2、生产者可靠性级别3、leader选举4、kafka可靠性的保证 一、kafka的存储机制 kafka通过to...
2021-09-23 08:41:00
605
转载 日志系统新贵 —— Loki 详解
背景最近，在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下...
2021-09-19 12:01:00
1824
转载 花了3个月，濒临崩溃的K8S集群有救了……
一、前言我司的集群时刻处于崩溃的边缘，通过近三个月的掌握，发现我司的集群不稳定的原因有以下几点：1、发版流程不稳定2、缺少监控平台【最重要的原因】3、缺少日志系统4、极度缺少有关操作文档5...
2021-09-15 08:41:00
379
转载 好好的ClickHouse不用，日志存储分析非要上ES和MySQL？
2018年，我写过一篇关于Clickhouse的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃: 上个月有 800 ...
2021-09-14 08:41:00
595
转载 Apache Spark 内存管理(堆内/堆外)详解
导读：Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。本文将...
2021-09-13 08:41:00
239
转载 OLAP 技术选型：对什么进行选型?
OLAP 技术架构上图展现的 impala 技术架构，很直观展示了 OLAP 技术核心模块：数据模型、存储格式与数据处理架构；数据模型数据模型层主要是解决数据传输问题，通过对数据序列化与反...
2021-09-10 08:41:00
303
转载 滴滴出行数据应用平台建设实践
伴随着各种随身设备、物联网和云计算、云存储等技术的发展，数据内容和数据格式多样化，数据颗粒度也愈来愈细，随之出现了分布式存储、分布式计算、流处理等大数据技术，各行业基于多种甚至跨行业的数据...
2021-09-09 09:00:24
198
转载 StarRocks开源——携手未来，星辰大海！
各位大数据从业者：这是一个充满挑战的时代。数据驱动正在深刻地改变整个世界。我们的业务数据、数据报表、数据指标越来越多，但我们分析数据的速度却越来越慢，报表构建的复杂度越来越高。如何有效地分...
2021-09-08 12:15:09
472
1
转载 从 ClickHouse 到 ByteHouse：实时数据分析场景下的优化实践
近日，字节跳动旗下的企业级技术服务平台火山引擎正式对外发布了 ByteHouse。在打造 ClickHouse 企业版 ByteHouse 的过程中，我们经过了多年的探索与沉淀，今天和大家...
2021-09-06 20:30:44
368
转载 万字详解 Spark开发调优（建议收藏）
1一、前言在大数据计算领域，Spark 已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark 的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各...
2021-09-04 20:22:38
400
转载 基于 ElasticSearch 实现站内全文搜索
来源：blog.csdn.net/weixin_44671737/article/details/114456257摘要1 技术选型1.1 ElasticSearch1.2 springB...
2021-09-02 08:41:00
142
转载 跨越速运 x DorisDB：统一查询引擎，强悍性能带来极速体验
跨越速运集团有限公司创建于2007年，目前服务网点超过3000家，覆盖城市500余个，是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护，支撑20余条核...
2021-09-01 08:41:00
168
转载 用了ElasticSearch后，查询起飞了！
“ 最近接触的几个项目都使用到了 Elasticsearch (以下简称 ES ) 来存储数据和对数据进行搜索分析，就对 ES 进行了一些学习。本文整理自我自己的一次技术分享。图片来自 P...
2021-08-31 08:41:00
115
转载 聊聊 Kafka 为什么这么快原因之一
前言关于Kafka的一个灵魂拷问：它为什么这么快？或者说，为什么它能做到如此大的吞吐量和如此低的延迟？有很多文章已经对这个问题给出了回答，但本文只重点研究其中的一个方向，即对page ca...
2021-08-30 08:41:00
139
转载 千岛湖之行
分享一下这两天千岛湖之旅拍的视频住宿沪马游乐缆车上拍的，景色很美上面这个透明玻璃桥，对于恐高的可吓坏了，????。整个沪马项目还挺多，觉得最好玩的还是属于最后下山的滑板车，开的贼快。晚餐鱼...
2021-08-29 22:16:28
140
转载 唯品会亿级数据服务平台实践
数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数...
2021-08-27 08:41:00
180
转载 聊聊数据仓库建设
数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。数仓建设思路数仓主要是围绕着数据使用方与数据开发方诉求进行建设；因此在开始规划数仓建...
2021-08-26 08:41:00
127
转载 聊聊实时数仓架构设计
什么是实时数仓首先需要明确什么是实时数仓，百度百科与维基百科都没有给出具体说明，哪究竟什么才是实时数仓呢？是不是可以通过实时流实时获取数据就是实时数仓？或者说流批一体就是实时数仓？在或者全...
2021-08-20 12:22:10
371
转载 Flink CDC 2.0 Make All Happy
摘要：本文由社区志愿者陈政羽整理，内容来源自阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flink Meetup 分享的《详解 Flink-CDC》。深入讲解了最新发...
2021-08-19 08:40:20
223
转载 21 款 yyds 的 IDEA插件
最近，闲来无事，为了改变一下枯燥的编程环境，特地搜寻了下有助提升代码功力的插件.1、Stackoverflow这个插件其实是最实用的插件，程序猿遇到的问题，基本都能找到回答，但是它使用的...
2021-08-18 08:50:02
159
转载 Lenovo x DorisDB：简化数据处理链路，极大提升BI分析效率
Lenovo联晟智达隶属于全球PC领导厂商联想集团，致力于打造科技驱动、柔性敏捷、服务体验一流的智慧物流生态平台，面向产业端企业提供综合物流解决方案，成为服务于中国及全球客户的智能供应链科...
2021-08-17 08:41:00
202
转载 实时计算！急招！！
朋友公司招人，找工作的可以看过来，实时计算，大数据开发/专家，各种岗位都有！急招！考虑的可以直接微信和我说，我可以直接帮忙推到对应岗位负责人那去，省去麻烦流程！有我微信的可以直接私聊我，没...
2021-08-15 20:01:00
855
转载 揭秘字节跳动埋点数据实时动态处理引擎（附源码）
1.序篇-先说结论宝贝们，还记得前几天博主去的火山引擎大数据场嘛，其中比较令大家感兴趣的就是最后一讲，字节一站式埋点平台的 flink 标准化清洗及拆流任务。其中大家感觉比较流啤的就是的就...
2021-08-13 09:01:00
1709
转载 致ClickHouse用户的一封信
亲爱的ClickHouse用户：您好！感谢您在百忙之中抽出时间来阅读此信。虽然未曾谋面，但我们关注您已经有很长一段时间了。您的企业非常重视数据分析工作，想通过数据分析来提升运营效率，发...
2021-08-11 08:41:00
175
Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）
2019-10-25
Flink源码解析.zip
2019-06-04
Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md
2019-06-04
Distributed.Systems.An.Algorithmic.Approach.2nd.Edition
2018-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人