![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 71
qq_34795664
这个作者很懒,什么都没留下…
展开
-
Spark简单介绍&安装步骤
Spark1.spark 概述spark概念 基于内存的分布式计算系统,计算速度很快,只是用于数据的计算,不涉及到数据的存储.可以对接外部数据源(例如HDFS)Spark是一个开源的类似于Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Sp...原创 2018-04-15 09:03:43 · 1729 阅读 · 0 评论 -
sparkStreaming
1、sparkStreaming它是一个可扩展,高吞吐具有容错性的流式计算。2、sparkStreaming特性1、易用性 可以像编写离线批处理一样去编写流式程序可以使用java/python/R2、容错性 保证数据恰好只被处理一次3、融合spark体系3、sparkStreaming原理Spark Streaming 是基于spark的流...原创 2018-04-15 09:05:25 · 530 阅读 · 0 评论 -
SparkSql
SparkSql1.sparkSQL概述Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它是sparkSQL的底层抽象有多种方式去使用Spark SQL,包括SQL、DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎....原创 2018-04-15 09:06:48 · 343 阅读 · 0 评论