Spark学习资源整合(持续更新)

转载 2016年08月29日 22:34:40
一、为什么学习Spark

  大数据技术快速发展,Spark为Hadoop大数据技术生态体系带了新的活力与技术革新。至于为什么学习Spark,这样的问题真的是一千个人心中有一千个哈姆雷特。Spark的官网告诉我们:Apache Spark™ is a fast and general engine for large-scale data processing.而其独特魅力已经在疯狂地影响从事大数据领域的IT修炼者,值得我们一窥究竟。

Speed
Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. 
Apache Spark has an advanced DAG execution engine that supports cyclic data flow and in-memory computing.

Ease of Use
Write applications quickly in Java, Scala, Python, R. 
Spark offers over 80 high-level operators that make it easy to build parallel apps. And you can use it interactively from the Scala, Python and R shells.
 
Generality
Combine SQL, streaming, and complex analytics.Spark powers a stack of libraries including SQL and DataFrames, MLlib for machine learning, GraphX, and Spark Streaming. You can combine these libraries seamlessly in the same application.
 
 Runs Everywhere
Spark runs on Hadoop, Mesos, standalone, or in the cloud. It can access diverse data sources including HDFS, Cassandra, HBase, and S3.
    
二、Spark的学习资料整理

  在学习Spark的过程中发现互联网上有很多不错的资源/资料,给予了个人修炼技术提供了很大的帮助与指导。但之前一直没有时间梳理, 先以此日志来记录整理,后续再不断更新,方便自己和他人在Spark修炼路上查阅学习。

   2.1、【Spark相关技术博客汇总】
      2.1.1、过往记忆:https://www.iteblog.com/
      2.1.2、徽沪一郎:http://www.cnblogs.com/hseagle/category/569175.html
      2.1.3 、fxjwind:http://www.cnblogs.com/fxjwind/category/518904.html
      2.1.4、张包峰:http://blog.csdn.net/zbf8441372/article/category/1556747
      2.1.5、高彦杰:http://blog.csdn.net/gaoyanjie55
      2.1.6、saisai_shao:http://jerryshao.me/

   2.2、【Spark相关较好的Github资源】
      2.2.1、源码学习:https://github.com/apache/spark
      2.2.2、原理剖析:https://github.com/JerryLead/SparkInternals

本文转自AiTi修炼|大技术窥探 ,尊重原作者知识产权,转载已注明出处与连接。

相关文章推荐

源码阅读——十个C开源项目

代码阅读——十个C开源项目 1. Webbench 2. CMockery 3. Libev 4. Memcached 5. Lua 6. SQLite 7. Redis 8. Ngi...
  • sole_cc
  • sole_cc
  • 2014年11月08日 15:45
  • 596

分享》:关于阅读开源项目的源码思路方法

如果你不熟悉或者代码量很大, 最好从代码的 example 代码 或者 client 的代码入手比较容易. 这些代码直接 gdb 进去就可以调试运行了, 客户端的功能搞清楚了,会用了, 恐惧感就降下去...

手机移动端WEB资源整合学习整理

学习链接meta
  • sma2mmm
  • sma2mmm
  • 2016年11月29日 10:35
  • 155

学习资源整合版完整版2

  • 2011年07月25日 20:29
  • 15.95MB
  • 下载

最强资源整合,包括全了开发者开发应用过程所需的全部资源,如果还有你所需的资源没有提到,尽情留言更新!

最强资源整合,包括全了开发者开发应用过程所需的全部资源,如果还有你所需的资源没有提到,尽情留言更新! 策划设计 icon下载 Easyicon:http://www.easy...
  • mxbhxx
  • mxbhxx
  • 2015年01月16日 08:49
  • 1122

ECMBoss企业内容解决方案项目系列之(二)人力资源整合组建项目精英开发团队

ECMBoss项目下来了,大佬们开始为这个项目做人力资源的准备工作。像MMM这样的大公司,要完成一个项目通常是不同部门合作来完成的,因为对于MMM这样的大公司,每个部门的工作都是相对独立的,用我们IT...
  • shehun1
  • shehun1
  • 2012年02月19日 22:33
  • 2547

TexturePacker一个神奇的图片资源整合工具

TexturePacker是一个强大的图片资源整合工具 它可以将零散的图片组合在一起,并且生成一个压缩后图片文件和一个plist文件 生成的文件格式有好多种,任君选择,我一般用的格式是PVR.CC...

rabbitmq 综合资源整合帖子

http://bbs.csdn.net/topics/390744360 安装的话,可以参考这个链接。 下载不下来的,直接将链接赋值到浏览器里面。进行下载。源码安装比较好。不然用命令行的话,会老是提示...

华企会“资源整合赢天下”――龙岩分会发动大会

这是一个资源整合赢天下的顶峰论坛,这是一次企业家心灵碰撞的对话,一场胜利闽商经营企业的分享嘉会。活动现场 ,不仅有来自华企会总部学部学习部长周建青的出色报告,还有来自厦门分会副秘书长尤志红、福州分会代...

诸葛io 大数据时代,企业如何打好信息资源整合攻坚战?

本篇文章,诸葛io针对大数据时代,企业如何打好信息资源整合攻坚战?这个话题来给大家做个分享~   数据被认为是新时期的基础生活资料与市场要素,重要程度不亚于物质资产和人力资本。近年来,企业...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark学习资源整合(持续更新)
举报原因:
原因补充:

(最多只允许输入30个字)