spark简介(一)

原创 2015年11月21日 11:29:09

1.   spark简介

SparkUC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2.   spark框架介绍


Spark支持的Api:scala、python、java

3.   spark的特点

Apache Spark™ is a fast and general engine for large-scaledata processing.

2.1数据处理引擎

      快速:DAG。Memory

通用:一栈式的大数据处理解决方案

2.2数据处理与数据分析

适用于大数据集

4.MapReudce与Spark对比的同点

1.基本原理上:

MapReduce:基于磁盘的大数据批量处理系统

spark:基于 RDD( 弹性分布式数据集) 数据处理,显式的将

RDD 数据存储到磁盘和内存中。

2.模型上:

MapReduce:可以处理超大规模的数据,适合日志分析挖掘等

较少的迭代的长任务需求; 结合了数据的分布式的计算。

Spark:适合数据的挖掘,机器学习等多伦迭代式计算任务

3.容错性上

数据容错性

节点容错性

Spark框架简介

  • 2016年07月21日 13:17
  • 281KB
  • 下载

storm与spark简介

  • 2017年04月27日 12:07
  • 1.26MB
  • 下载

spark-机器学习及SparkMLlib简介

1、机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义: l“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性...

(1)Spark简介

  • 2015年06月10日 11:42
  • 124KB
  • 下载

Spark及其生态圈简介

  • 2017年07月11日 23:12
  • 1.1MB
  • 下载

Spark架构与作业执行流程简介

 Spark架构与作业执行流程简介 Local模式 运行Spark最简单的方法是通过Local模式(即伪分布式模式)。     运行命令为:./bin/run-example org.ap...

将Flex 3应用程序移植到Flex 4.5中 第3部分:Spark组件及皮肤制作简介 (一)

本系列主要讲述将Flex 开发者中心提供的Flex3仪表盘显示应用程序导入Flash Builder4.5,然后再将该应用程序移植到Flex 4.5中以充分利用Flex 4.5Spark结构和组件的优...
  • lihe111
  • lihe111
  • 2011年12月02日 09:38
  • 6067

Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介

1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生,它...
  • bbbeoy
  • bbbeoy
  • 2017年04月15日 18:49
  • 188

Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介

转载:http://www.cnblogs.com/shishanyuan/p/4723604.html?utm_source=tuicool 1、SparkSQL的发展历程 1.1 Hive a...

Spark Transformation 简介

说明本片简单介绍一下 Spark Transformation 以及一些常用的 Transformation,由于刚开始接触,内容较少,后续持续完善。 参考资料: 慕课网视频: http:...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark简介(一)
举报原因:
原因补充:

(最多只允许输入30个字)