Spark
文章平均质量分 92
frankzero353
这个作者很懒,什么都没留下…
展开
-
Spark安装部署
Spark是UC Berkeley AMPLab开发的类MapRed计算框架。MapRed框架适用于batch job,但是由于它自身的框架限制,第一,pull-based heartbeat作业调度。第二,shuffle中间结果全部落地disk,导致了高延迟,启动开销很大。而Spark是为迭代式,交互式计算所生的。第一,它采用了actor model 的akka 作为通讯框架。第二, 它 使用...原创 2015-02-03 14:48:37 · 132 阅读 · 0 评论 -
Spark的Standalone模式部署
1:Spark Standalone Mode安装 A:部署包生成 首先,下载并解压缩Spark的源码,切换到解压缩所生成的目录,运行部署包生成程序make-distribution.sh: ./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz spark源码根目录下的make-distribution.sh可以带以下参数:...原创 2015-02-04 17:47:35 · 316 阅读 · 0 评论 -
spark 安装
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3 折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。 1. 安装 JDK 1.7 yum search openjdk-devel sudo yum insta...原创 2015-02-04 17:48:42 · 124 阅读 · 0 评论 -
Spark的YARN模式部署
1:Spark的编译 Spark可以通过SBT(Scala Build Tool)或者Maven来编译,官方提供的二进制安装文件是用Maven编译,如果是要在YARN集群上运行的话,还需要再用SBT编译一下,生成YARN client端使用的jar包;最好是直接对源码使用SBT进行编译而生成YARN client端使用的jar包。笔者在测试过程中,对Maven编译过的Spark进行SBT二次编...原创 2015-02-04 17:50:59 · 251 阅读 · 0 评论 -
Spark On Yarn(HDFS HA)详细配置过程
一、服务器分布及相关说明 1、服务器角色 2、Hadoop(HDFS HA)总体架构 二、基础环境部署 1、JDK安装 http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.tar.gz # tar xvzf jdk-7u45-linux-x64.tar.gz -C/usr/lo...原创 2015-02-04 17:58:50 · 205 阅读 · 0 评论