tianyeshiye

天之道,损有余而补不足.人之道,则不然,损不足以奉有余.孰能有余以奉天下?唯有道者...

学习笔记 --- Kafka Spark Streaming获取Kafka数据 Receiver与Direct的区别

Receiver 使用Kafka的高层次Consumer API来实现 receiver从Kafka中获取的数据都存储在Spark Executor的内存中,然后Spark Streaming启动的job会去处理那些数据 要启用高可靠机制,让数据零丢失,就必须启用Spark Streamin...

2018-12-04 09:43:25

阅读数:33

评论数:0

学习笔记 --- Spark SparkSQL下Parquet中PushDown的实现

PushDown是一种SQL优化方式,通常用在查询。应用场景: 假设通过DataFrame,df.select(a,b,c).filter(by a).filter(by b).select(c).filter(by c)这样的查询,在optimizer阶段,需要合并多个filters(Comb...

2018-12-03 16:22:47

阅读数:14

评论数:0

【Big Data 每日一题20181028】Alluxio简介

 一、Alluxio是什么?         Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件,主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。         Alluxio的前身为Tachyon。        ...

2018-10-30 21:47:38

阅读数:15

评论数:0

【Big Data 每日一题20181023】

【Big Data 每日一题20181023】

2018-10-23 23:17:27

阅读数:7

评论数:0

【Big Data 每日一题20181022】

【Big Data 每日一题20181022】

2018-10-23 23:16:59

阅读数:10

评论数:0

【Big Data 每日一题20181015】

【Big Data 每日一题20181015】

2018-10-15 23:15:14

阅读数:7

评论数:0

【Big Data 每日一题20181014】

【Big Data 每日一题20181014】

2018-10-15 23:14:57

阅读数:9

评论数:0

【Big Data 每日一题20181013】

【Big Data 每日一题20181013】

2018-10-13 23:15:39

阅读数:8

评论数:0

【Big Data 每日一题20181012】

【Big Data 每日一题20181012】

2018-10-13 23:15:18

阅读数:5

评论数:0

【Big Data 每日一题20181011】

【Big Data 每日一题20181011】

2018-10-11 22:19:34

阅读数:9

评论数:0

【Big Data 每日一题20181010】

【Big Data 每日一题20181010】

2018-10-11 22:19:16

阅读数:11

评论数:0

【Big Data 每日一题20181009】

【Big Data 每日一题20181009】

2018-10-09 19:56:10

阅读数:9

评论数:0

【Big Data 每日一题20181008】

【Big Data 每日一题20181008】

2018-10-08 20:31:54

阅读数:17

评论数:0

【Big Data 每日一题20181007】

【Big Data 每日一题20181007】

2018-10-08 20:31:32

阅读数:23

评论数:0

【Big Data 每日一题20181006】

【Big Data 每日一题20181006】

2018-10-08 20:31:11

阅读数:16

评论数:0

【Big Data 每日一题20181005】

【Big Data 每日一题20181005】

2018-10-05 23:36:10

阅读数:27

评论数:0

【Big Data 每日一题20181004】

【Big Data 每日一题20181004】

2018-10-04 23:46:49

阅读数:22

评论数:0

【Big Data 每日一题20181003】

【Big Data 每日一题20181003】

2018-10-04 23:46:26

阅读数:9

评论数:0

【Big Data 每日一题 - 20180930】Spark启动时的master参数以及Spark的部署方式

我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下: conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spa...

2018-10-02 23:14:42

阅读数:30

评论数:0

【Big Data 每日一题20180929】Spark DAG概述

概要 DAG,有向无环图,Directed Acyclic Graph的缩写,常用于建模。Spark中使用DAG对RDD的关系进行建模,描述了RDD的依赖关系,这种关系也被称之为lineage,RDD的依赖关系使用Dependency维护,参考Spark RDD之Dependency,DAG在Sp...

2018-10-02 23:14:24

阅读数:33

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭