关闭

spark简介(一)

110人阅读 评论(0) 收藏 举报
分类:

1.   spark简介

SparkUC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2.   spark框架介绍


Spark支持的Api:scala、python、java

3.   spark的特点

Apache Spark™ is a fast and general engine for large-scaledata processing.

2.1数据处理引擎

      快速:DAG。Memory

通用:一栈式的大数据处理解决方案

2.2数据处理与数据分析

适用于大数据集

4.MapReudce与Spark对比的同点

1.基本原理上:

MapReduce:基于磁盘的大数据批量处理系统

spark:基于 RDD( 弹性分布式数据集) 数据处理,显式的将

RDD 数据存储到磁盘和内存中。

2.模型上:

MapReduce:可以处理超大规模的数据,适合日志分析挖掘等

较少的迭代的长任务需求; 结合了数据的分布式的计算。

Spark:适合数据的挖掘,机器学习等多伦迭代式计算任务

3.容错性上

数据容错性

节点容错性

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1712次
    • 积分:122
    • 等级:
    • 排名:千里之外
    • 原创:11篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档