大数据平台
文章平均质量分 85
大数据平台建设点点滴滴
KK架构
天道酬勤
展开
-
Kafka的 ISR 概念和作用
ISR 的全称叫做: In-Sync Replicas (同步副本集), 我们可以理解为和 leader 保持同步的所有副本的集合。一个分区的所有副本集合叫做 AR( Assigned Repllicas )与 leader-replica 未能保持同步的副本集叫做 OSR( Out-Sync Relipcas )因此我们就能得到这么一个表示:AR = ISR + OSR,翻译一下就是一个分区的副本集分为同步集合和非同步集合两部分。那么我们可以假设一个场景,一个分区的 AR 集合为【0,1,2原创 2022-09-20 16:35:52 · 2593 阅读 · 0 评论 -
企业元数据管理与架构设计
一、元数据治理在整个数据治理体系的位置数据治理很火,在 DAMA 数据管理知识体系指南中,数据治理位于 “数据管理车轮图” 的正中央,如下图:而元数据管理,正是十大数据管理领域其中很重要的一环。数据资产治理的前提是要有数据,并且要求数据类型全、量大,并尽可能的覆盖数据流转的各个环节。元数据的采集和管理就变得尤为重要,它是数据资产治理的核心底座。二、什么是元数据所谓元数据,就是 “关于数据的数据”。举一个例子,比如 175 这个数字,它在特定场景下,有如下的元数据:在这个表格中,175 是实体原创 2021-12-03 09:12:31 · 3442 阅读 · 0 评论