Kafka概念、组成、机制

1、概念Kafka是分布式的、可分区的,可复制的消息系统。2、原理【待补充】3、组成1)Topics/Logs一个topic是对一组消息的归纳。每个topic将被分成多个partition,每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追...

2018-02-12 20:47:05

阅读数 154

评论数 0

Spark SQL概念与组成概述

1、Spark SQL概念 Spark SQL是Spark为结构化数据处理而引入的编程模块,提供了一个称为DataFrame的编程抽象,并且可以充当分布式SQL查询引擎。 2、Spark SQL组成 1)DataFrame 是一个分布式数据集合,被组织成命名列,相当于具有良好优化技术的关系...

2018-02-05 01:45:55

阅读数 112

评论数 0

Spark RDD Partition

1、概念  RDD内部并行计算的计算单元。尽可能规避Shuffle过程,降低网络开销。  RDD的数据集在逻辑上被划分为多个分片,每一个分片成为分区,分区的格式决定了并行计算的粒度。每个分区的数值计算都是在一个任务中进行的,因此任务的个数是由RDD(准确来说是作业最后一个RDD)的分区数决定的...

2018-01-28 20:51:50

阅读数 138

评论数 0

Spark RDD入门详解

1、Spark RDD概念 RDD即弹性分布式数据集,有容错机制并可以被并行操作的元素集合,具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD只是数据集的抽象,分区内部并不会存储具体的数据。 2、Spark RDD分类 1)并行集合 接收一个已经存在的Scala集合,...

2018-01-21 21:55:22

阅读数 4182

评论数 0

Spark入门详解

以下用一张思维导图全面并精炼地描述Spark基础知识,包括概念、原理、组成与机制。 说明: 1、此思维导图是在综合多篇关于Spark入门文章后获得,不敢保证多高质,但可保证最全面的同时又最精炼,最大程度减少记忆与理解负担。 2、网页中看不清,下载图片即可。 3、若发现有错误,请批评指正。 4、因近...

2018-01-14 18:41:51

阅读数 124

评论数 0

提示
确定要删除当前文章?
取消 删除