大数据
登徒梦
码码更健康~
展开
-
Part 2: CHAPTER 9 Consistency and Consensus
文章目录?resourceSummaryConsistent:ConsensusConsistency GuaranteessLinearizability:Implementing Linearizable SystemThe Cost of LinearizabilityOrdering GuaranteesOrdering and CausalityThe causal order is n...原创 2020-01-19 11:13:57 · 861 阅读 · 0 评论 -
Note 2: CHAPTER 5 Replication
文章目录?SummaryLeaders and Followers(single-leader)Syncchronous Versus Asynchronous ReplicationSynchronousCompletely AsynchronousSetting Up New Followers(扩容时的一致性)Handling Node Outages(容错)Follower failure...原创 2019-11-10 16:19:38 · 471 阅读 · 0 评论 -
数据平台简介
数据平台是什么数据平台即数据开发平台,顾名思义,它需要屏蔽数据存储处理的底层细节,对外提供一个统一的数据服务平台,数据平台的服务目标,应该是提供一个完整的数据业务解决方案,提供全链路、一站式、智能化的数据构建与管理工具,降低数据建设门槛,而不是仅仅提供组件或孤立的系统,把流程串接和方案集成的工作都抛给用户自己去考虑,根据数据的生命周期,大致需提供以下功能和产品:数据接入: 数据集成/etl...原创 2019-07-07 16:47:44 · 6394 阅读 · 0 评论 -
同步es数据到hive,处理es中嵌套结构
Overview:使用es-hadoop进行es2hive数据同步,当es mapping中有嵌套字段时,有2种选择: hive使用复杂结构和es mapping对应hive使用string类型,将es中的嵌套结构看作一个json string当es的mapping动态的变化时,尤其嵌套结构也动态变化时,使用第二种方式,将无须关心嵌套结构的变化技术方案: 使用es-haddop包建...原创 2018-07-16 19:34:35 · 6037 阅读 · 3 评论 -
基于Hql的表级数据血缘
预备知识表级数据血缘:数据表的派生关系。Hql: hive sql通过hive的hql parser在AST(抽象语法树)层级操作如果需要做字段血缘,在AST级别是可以完成的,不过需要熟悉大量的hql语法规则和其在ast中的实际表示。耳闻hiv的ast并不好,也许是积重难返吧,新语法规则的引入必然要和旧的规则做妥协。可以换用spark sql的parser或者presto的parser...原创 2019-07-28 17:40:10 · 1650 阅读 · 0 评论 -
Note: CHAPTER 1 Reliable, Scalable, and Maintainable Applications
Reliable, Scalable, and Maintainable ApplicationsThinking about data system数据系统的特点是什么?一方面,传统的数据系统都为了解决某个特定领域和场景的问题,而现在,这种界限在变得模糊,比如将 kudu 用作消息队列; 另一方面,为满足更多的需求,数据系统在变得复杂,需要组合多种组件来完成系统构建;需要着重考虑...原创 2019-09-08 20:53:39 · 289 阅读 · 0 评论 -
Note: CHAPTER 2 Data Models and Query Languages
?有哪些 data model? 它们之间的区别和联系是什么? 各自解决了什么场景下的问题? 如何融合?每个 data model 对应的 query language 是什么? 有什么特点?关系型和文档型之间的差异是什么?什么是 nosql? data model 和 query language 的历史发展?it’s just a question of whether the s...原创 2019-09-14 16:28:01 · 407 阅读 · 0 评论 -
Note: CHAPTER 3 Storage and Retrieval
?how we can store the data that we’re given(如何存储数据)?how we can find it again when we’re asked for it(如何检索数据)?storage engine optimized for transactional(OLTP) 和 optimized for analytics(OLAP) 有何不同?...原创 2019-09-15 20:08:28 · 542 阅读 · 0 评论