学习Spark第一天---1张图了解Spark

原创 2014年08月10日 13:44:18
最近对Spark产生些兴趣,从今天开始踏上学习之路。大家别误解,我对雪佛兰的微型车不感兴趣,指的是大数据平台相关的Spark计算框架。
小弟接触过hadoop和storm, 对Spark还是新手,还望路过的各位多多指点。


        2009年,UC Berkeley的AMP实验室创立了Spark项目。该项目是要创建类似Hadoop MapReduce的并行分布式计算框架,因此它继承MR的所有优点。除此之外,它还有如下优势:
  <1> 代码轻量级(核心代码用Scala实现,20000+)
  <2> 运算速度快:主要是因为其运算中间结果直接保存在内存中。这使得Spark更适用于数据挖据和机器学习等需要迭代的计算类型。
  <3> 提供更多种类的数据集操作,不像MapReduce,只有Map和Reduce两种类型。
  <3> 可以和Hadoop及现存Hadoop数据整合。

在网上还查到一些关于Spark和Hadoop的比较:

“代码量方面,Spark:   20000+;Hadoop:  90000+ (1.0版本) / 220,000+ (2.0版本)。Spark立足内存计算,性能超Hadoop百倍,即使使用磁盘,其迭代计算也会有10倍提升。 ”

        2013年,Spark进入Apache孵化器,并成为ASF的顶级项目,其社区支持也已超过Hadoop MapReduce.

        Spark可以运行在Window和类Unix系统上(Linux, Mac OS等等)。唯一安装依赖是Java环境, 要求是Java 6+。
此外Spark还支持Python和Scala语言,版本要求如下:  
Python 2.6+
Scala 2.10.x (Scala版本是针对Spark 1.0.2)

最后,用一张图来描述Spark Overview:


参考资料: 

spark.apache.org/

http://www.csdn.net/article/2014-06-18/2820283


本文比较肤浅,还请各位见谅。以后在学习Spark过程中会尽力提高。




IT人的微信自媒体--- 杰天空, 走在寻找创意的路上
发掘创意,点缀生活,品味人生。
请搜索微信订阅号: jksy_studio  ,或者微信扫描头像二维码添加关注



杰天空静候您的光临。




相关文章推荐

加载、链接与初始化

本文只是从Java开发程序员的角度去了解加载的过程,即在加载过程中可能会影响到我们将来对jvm内存管理的部分。而非加载,链接等等细节的实现。抽象,抽象,这里做的是尽力知其然,而不为知其所以然耗尽脑汁。...

J2SE学习笔记3 — Java基本语法(9)数组和枚举

数组 Arrays 枚举

SPARK零基础第一天

一.大数据IMF传奇行动           1、目的:                    1.发布DT大数据梦工厂版本的SPARK,做最好版本的spark,每周迭代一次          ...

第105讲 Spark Streaming电商广告点击综合案例在线点击统计实战项目第一天

本讲的目标是广告点击流进来,我们对它进行统计。首先实现对数据进行统计,后续十讲我们再做其它操作。 1:spark用scala开发,只能用java与数据库交互,用Hbase交互的时候,Spark在线上生...

Spark学习总结-入门

  • 2017年11月06日 17:16
  • 6.51MB
  • 下载

Spark学习笔记

  • 2017年11月06日 17:19
  • 33.09MB
  • 下载

Spark组件之GraphX学习5--随机图生成和消息发送aggregateMessages以及mapreduce操作(含源码分析)

更多代码请见:https://github.com/xubo245/SparkLearning 0.主要: 随机图生成 消息发送aggregateMessages ,进行reduce...

Spark学习笔记三

  • 2017年11月09日 08:40
  • 554KB
  • 下载

sbt-0.13.16.tgz 学习spark用

  • 2017年10月30日 15:40
  • 57.59MB
  • 下载

Spark组件之GraphX学习15--we-Google.txt大图分析

更多代码请见:https://github.com/xubo245/SparkLearning 1解释 统计边和点和最大度 2.代码: /** * @author xub...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:学习Spark第一天---1张图了解Spark
举报原因:
原因补充:

(最多只允许输入30个字)