- 博客(7)
- 资源 (14)
- 收藏
- 关注
原创 Spark1.0.0 编程模型
Spark Application可以在集群中并行运行,其关键是抽象出RDD的概念(详见RDD 细解),也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。 1:Spark应用程序的结构 Spark应用程序可分两部分:driver部分和executor部分初始化SparkContext和主体程序
2014-06-18 10:55:03 4827 1
原创 Spark1.0.0 history server 配置
在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是说,Spark应用程序运行完后,将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history serve
2014-06-17 22:45:49 8644 8
原创 Spark1.0.0 的监控方式
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控:Spark应用程序的WebUI或者Spark Standalone的集群监控指标,然后通过支持指标收集的集群监控系统,如ganglia进行监控辅助监控工具1:WebUI Spark应用程序提交后,driver和Executor之间不断的交换运行信息,可以通过driver的4
2014-06-15 13:43:20 4997
原创 Spark1.0.0 开发环境快速搭建
在本系列博客中,为了解析一些概念、解析一些架构、代码测试,搭建了一个实验平台,如下图所示: 本实验平台是在一台物理机上搭建的,物理机的配置是16G内存,4核8线程CPU。平台的环境配置如下:机器名配置角色软件安装hadoop12G内存,双核hadoop:NN/DN Spark:Master/worker /app/h
2014-06-12 15:19:17 8103
原创 Spark1.0.0 属性配置
1:Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置:SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext;SparkConf可以对某些通用属性直接配置,如master使用setMaster,
2014-06-09 01:34:58 8679 2
原创 Spark1.0.0 生态圈一览
Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及各种灵活的技术方案,对海量不透明的数
2014-06-08 13:45:42 6342 4
原创 Spark1.0.0 新特性
Spark1.0.0 release于2014-05-30日正式发布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0增加了Spark SQL这一个新的重要组件,用于加载和操作Spark的结构化数据;Spark1.0.0增强了现有的标准库(ML,streaming,GraphX??),同时还增强了Java和Python语言的
2014-06-02 14:32:32 3965
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (13-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (12-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (11-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (10-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (9-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (8-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (7-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (6-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (5-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (4-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (3-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (2-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen-1(1-13)
2010-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人