![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
yzh_1346983557
做一个有思想有灵魂的。。。“码农”
展开
-
Spark入门及Java Api
转载自:Spark基础与Java Api介绍一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce,Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后workers在(分布式)文件系统中读取数据...转载 2018-07-09 16:42:43 · 8920 阅读 · 1 评论 -
Linux安装、运行单机版Spark
一. 安装JDK,可参考:Linux(CentOs7)安装OpenJDK1.8。二. 安装spark。 说明:安装单机版spark只需要安装jdk和spark就可以了,因为spark内置的有scala,可不单独安装spark依赖的scala。这是网上的说法,我因为安装了scala就没有再去卸载。2.1 到spark官网下载Spark压缩包及解压:官网下载地址:http:/...原创 2018-08-13 11:04:31 · 16241 阅读 · 1 评论 -
Spark的Java api Demo
一. Spark:Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎/计算平台,可用来构建大型的、低延迟的数据分析应用程序。二. Maven中添加依赖包: <!-- Spark dependency --> <dependency> <groupId>org.apache.spa...原创 2018-08-20 11:10:41 · 2351 阅读 · 0 评论