![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
默默的走着
坚决不读博士
展开
-
Spark概述
Spark是一个基于大数据处理的快速并且综合引擎。 通过逻辑回归分析,如果基于内存进行运算,Spark比Hadoop MapReduce快100倍;如果基于硬盘进行技术那,Spark比Hadoop MapReduce快10倍。究其主要原因是因为Spark的高级DAG执行引擎,该引擎支持循环数据流和内存计算。 Spark的程序编写及其方便,目前支持的语言有Java、Scala、Python、R。翻译 2016-10-30 23:34:21 · 255 阅读 · 0 评论 -
Spark快速开始
本文主要介绍快速使用Spark的方法。首先通过Spark的交互式shell介绍相关的API,然后介绍如何使用Java、Scala和Python编写应用程序。 开始介绍之前需要从Spark website下载一个发行包。虽然我们不使用HDFS,但是可以下载任何版本的Hadoop包。 基于Spark Shell的交互式分析 Spark's shell 除了是一个强大的交互式分析数据的工具,也提供翻译 2016-11-13 12:14:10 · 404 阅读 · 0 评论