spark
z425955498
这个作者很懒,什么都没留下…
展开
-
Spark 简介
spark历史:伯克利实验室研究项目,基于Hadoop的Mapreduce机制,引入内存管理机制,提高了迭代式计算和交互式中的效率。 spark组件: spark core:spark基本功能,包括任务调度,内存管理,容错机制 内部定义了RDDs(弹性分布式数据集),提供多个APIs调用,为其他组件提供底层服务 spark sql:spark处理结构化数据的库,类似Hive SQL,MySql,原创 2017-12-10 16:34:45 · 413 阅读 · 0 评论 -
spark 环境搭建
1. Spark是Scala写的,在jvm上运行,运行环境java7+ spark 1.6.2 对应 scala 2.10 对应 sbt(打包工具) 0.13. 8 spark 2.0 对应 scala 2.11 2. 下载地址 spark http://spark.apache.org/downloads.html (下载时会自动匹配hadoop版本原创 2017-12-10 18:42:48 · 179 阅读 · 0 评论