博客专栏  >  移动开发   >  Spark 入门

Spark 入门

05年发布的 Hadoop 解决了大数据的存储和计算问题。但是,随着数据规模的增长和计算场景的细化,使得Hadoop 越来越难以满足用户的需求。Spark 由此应运而生。本专栏从Spark 源码的编译开始,介绍 Spark 在Linux系统上的搭建,及开发环境的部署。

关注
13 已关注
4篇博文
  • Scala 类型、数值类型及类型转换

    一、启动切换到 Spark 的根目录,使用 bin/spark-shell 进入 spark shell:[root@ahdoop0 spark-1.3.0-bin-hadoop2.4]# ./bin...

    2016-03-18 18:02
    655
  • Spark standalone 模式下的集群部署

    版本! 一、准备工作 (1)安装 jdk (建议 jdk7 以上)[root@hadoop0 ~]# echo $JAVA_HOME /usr/local/jdk [root@hadoop0 ~]# ...

    2016-03-19 00:06
    1138
  • Spark 基础——RDD 详解

    一、什么是 RDD? (1)RDD 是 Spark 最基本也是最根本的数据抽象 (2)RDD 它具备像 MapReduce 等数据流模型的容错性,为了实现容错,RDD 提供了一种高度受限的共享内存,即...

    2016-03-19 12:28
    794
  • 安装 IDEA、安装 Scala 插件以及导入 Spark 源码

    IDEA 全称 IntelliJ IDEA,是 java 语言开发的集成环境(IDE),IntelliJ 在业界被公认为最好的 java 开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE...

    2016-03-19 15:37
    6683
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部