博客专栏  >  移动开发   >  Spark 入门

Spark 入门

05年发布的 Hadoop 解决了大数据的存储和计算问题。但是,随着数据规模的增长和计算场景的细化,使得Hadoop 越来越难以满足用户的需求。Spark 由此应运而生。本专栏从Spark 源码的编译开始,介绍 Spark 在Linux系统上的搭建,及开发环境的部署。

关注
8 已关注
5篇博文
  • 编译 Spark 1.x

    Spark 官方文档 Building Spark,关于 Spark 的编译,做了充分的说明,尤其注意每一节内容下的 note 条目。这些补充一些细节和注意事项:为 Maven 配置镜像通过修改 ~/...

    2016-03-18 15:12
    395
  • Scala 基础

    一、启动切换到 Spark 的根目录,使用 bin/spark-shell 进入 spark shell:[root@ahdoop0 spark-1.3.0-bin-hadoop2.4]# ./bin...

    2016-03-18 18:02
    470
  • Spark standalone 模式下的集群部署

    版本! 一、准备工作 (1)安装 jdk (建议 jdk7 以上)[root@hadoop0 ~]# echo $JAVA_HOME /usr/local/jdk [root@hadoop0 ~]# ...

    2016-03-19 00:06
    737
  • Spark 基础——RDD 详解

    一、什么是 RDD? (1)RDD 是 Spark 最基本也是最根本的数据抽象 (2)RDD 它具备像 MapReduce 等数据流模型的容错性,为了实现容错,RDD 提供了一种高度受限的共享内存,即...

    2016-03-19 12:28
    579
  • 安装 IDEA、安装 Scala 插件以及导入 Spark 源码

    IDEA 全称 IntelliJ IDEA,是 java 语言开发的集成环境(IDE),IntelliJ 在业界被公认为最好的 java 开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE...

    2016-03-19 15:37
    4330
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部