superWe的博客

日常笔记

SparkSql

SparkSql 1.sparkSQL概述 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它是sparkSQL的底层抽象 有多种方式去使用Spark SQL,包括SQL、DataFrames ...

2018-04-15 09:06:48

阅读数:94

评论数:0

sparkStreaming

1、sparkStreaming 它是一个可扩展,高吞吐具有容错性的流式计算。 2、sparkStreaming特性 1、易用性 可以像编写离线批处理一样去编写流式程序 可以使用java/python/R 2、容错性 保证数据恰好只被处理一次 3、融合spark体系 ...

2018-04-15 09:05:25

阅读数:151

评论数:0

Spark简单介绍&安装步骤

Spark 1.spark 概述 spark概念 基于内存的分布式计算系统,计算速度很快,只是用于数据的计算,不涉及到数据的存储.可以对接外部数据源(例如HDFS) Spark是一个开源的类似于Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法...

2018-04-15 09:03:43

阅读数:258

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭