- 博客(9)
- 资源 (3)
- 收藏
- 关注
原创 Spark学习笔记之-Spark-Standalone下driver和executor分配
看了看spark-standalone的资源分配过程,还是记录一下吧,久了回顾一下。Standalone模式下存在的角色。Client:客户端进程,负责提交作业到Master。Master:Standalone模式中主控节点,负责接收Client提交的作业,管理Worker,并命令Worker启动Driver和Executor。Worker:Standalone
2015-09-17 18:16:20 7331
原创 Spark学习笔记之-Spark-Streaming
spark-streaming源码分析最近也在看spark-streaming的流程,稍稍整理了下,记录一下。1、首先来看入口,如果要使用spark-streaming,首先要实例化StreamingContext如ssc,入口点是从ssc.start()开始的。实例化的同时,也初始化了一些变量/对象,val graph,val pr
2015-09-15 16:47:42 699
转载 spark-streaming源码分析
spark-streaming源码分析最近也在看spark-streaming的流程,发现了一个比较不错的分析流程,记录一下。streaming任务执行的整个流程,下文使用的源码是master分支的代码,1.2.1版本已经发布,应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的,做一个必要的参
2015-09-15 11:08:59 651
原创 Spark学习笔记之-Spark Standalone(环境搭建)
Spark standalone分为master和worker,具体启动方法可用手动启动或脚本启动集群。官方参考手册:http://spark.apache.org/docs/1.4.0/spark-standalone.html1、手动启动可以参考 : http://www.th7.cn/Program/java/201309/148408.shtml2、启动脚本方式:
2015-09-11 11:10:00 1526
转载 Spark学习笔记之-Spark常用概念
本文参考于http://www.aboutyun.com/thread-14833-1-1.htmlSpark中一些常用术语定义:Application: Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor
2015-09-09 11:05:33 406
原创 Spark学习笔记之-Spark-cassandra-connector阅读
最近使用Spark将处理数据存储到cassandra遇到些问题,于是乎大体看了下spark-cassandra-connector的源码这是该项目的主页:https://github.com/datastax/spark-cassandra-connector ,上面的document有一些例子的用法。使用时加入依赖 com.datastax.spa
2015-09-09 09:58:40 3001
原创 Spark学习笔记之-Spark on yarn(动态资源调度)
对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务(比如Thrift Server),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源张,这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减 Executor个数,从而实现动态分配资源,使整个
2015-09-01 17:38:20 4671
原创 Spark学习笔记之-Spark on yarn(External Shuffle Service)
Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle 数据,给其他Executor提供shuffle数据。 当Executor进程任务过重,导致GC而不能为其 他Executor提供shuffle数据时,会影响任务运行。 这里实际上是利用External Shuffle Service 来提升性能,External s
2015-09-01 17:36:42 8591
原创 Spark学习笔记之-Spark远程调试
Spark远程调试 本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。1、了解jvm一些参数属性-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888这里对上面的几个参数进行说
2015-09-01 09:52:37 3578 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人