自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 资源 (3)
  • 收藏
  • 关注

原创 Spark学习笔记之-Spark-Standalone下driver和executor分配

看了看spark-standalone的资源分配过程,还是记录一下吧,久了回顾一下。Standalone模式下存在的角色。Client:客户端进程,负责提交作业到Master。Master:Standalone模式中主控节点,负责接收Client提交的作业,管理Worker,并命令Worker启动Driver和Executor。Worker:Standalone

2015-09-17 18:16:20 7331

原创 Spark学习笔记之-Spark-Streaming

spark-streaming源码分析最近也在看spark-streaming的流程,稍稍整理了下,记录一下。1、首先来看入口,如果要使用spark-streaming,首先要实例化StreamingContext如ssc,入口点是从ssc.start()开始的。实例化的同时,也初始化了一些变量/对象,val graph,val pr

2015-09-15 16:47:42 699

转载 spark-streaming源码分析

spark-streaming源码分析最近也在看spark-streaming的流程,发现了一个比较不错的分析流程,记录一下。streaming任务执行的整个流程,下文使用的源码是master分支的代码,1.2.1版本已经发布,应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的,做一个必要的参

2015-09-15 11:08:59 651

原创 Spark学习笔记之-Spark Standalone(环境搭建)

Spark standalone分为master和worker,具体启动方法可用手动启动或脚本启动集群。官方参考手册:http://spark.apache.org/docs/1.4.0/spark-standalone.html1、手动启动可以参考 : http://www.th7.cn/Program/java/201309/148408.shtml2、启动脚本方式:

2015-09-11 11:10:00 1526

转载 Spark学习笔记之-Spark常用概念

本文参考于http://www.aboutyun.com/thread-14833-1-1.htmlSpark中一些常用术语定义:Application: Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor

2015-09-09 11:05:33 406

原创 Spark学习笔记之-Spark-cassandra-connector阅读

最近使用Spark将处理数据存储到cassandra遇到些问题,于是乎大体看了下spark-cassandra-connector的源码这是该项目的主页:https://github.com/datastax/spark-cassandra-connector ,上面的document有一些例子的用法。使用时加入依赖 com.datastax.spa

2015-09-09 09:58:40 3001

原创 Spark学习笔记之-Spark on yarn(动态资源调度)

对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务(比如Thrift Server),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源张,这就造成了很大的资源浪费和资源不合理的调度。     动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减 Executor个数,从而实现动态分配资源,使整个

2015-09-01 17:38:20 4671

原创 Spark学习笔记之-Spark on yarn(External Shuffle Service)

Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle 数据,给其他Executor提供shuffle数据。    当Executor进程任务过重,导致GC而不能为其 他Executor提供shuffle数据时,会影响任务运行。    这里实际上是利用External Shuffle Service 来提升性能,External s

2015-09-01 17:36:42 8591

原创 Spark学习笔记之-Spark远程调试

Spark远程调试                      本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。1、了解jvm一些参数属性-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888这里对上面的几个参数进行说

2015-09-01 09:52:37 3578 1

linux命令,基础命令,实用

介绍基础的linux命令,对初学者很有帮助。大家可以下载看看

2012-03-22

c语言指导书.ppt

对于c语言初学者是一本不可多得书籍 详细讲解的c语言的用法 欢迎大家下载

2010-06-29

英飞凌sp12单片机介绍

对于英飞凌sp12单片机有详细的介绍,对于初学者入门很有帮助

2010-06-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除