- 博客(10)
- 资源 (1)
- 收藏
- 关注
转载 17个你必须牢记的win7快捷键
http://www.cnblogs.com/xfiver/archive/2010/12/08/1899905.html
2013-12-30 00:00:31
494
转载 win7快捷使用
在windows7操作系统中通过不同的按键组合,达到快速执行某个命令或者启动某个软件的方式称之为快捷键。目录1快捷方式2惯例3对话框4Win徽标5资源管理6放大镜7远程桌面8画图9写字板10计算器1快捷方式按
2013-12-29 23:53:42
667
转载 Spark源码分析之-scheduler模块
Spark源码分析之-scheduler模块原文地址:http://jerryshao.me/architecture/2013/04/21/Spark%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8B-scheduler%E6%A8%A1%E5%9D%97/BackgroundSpark在资源管理和调度方式上采用了类似于Hadoop Y
2013-12-18 00:04:32
711
转载 Spark 体系结构
原文地址:http://jerryshao.me/architecture/2013/03/29/spark-overview/ 整体上Spark分为以下几个主要的子模块:deploy: deply模块包括Master,Work和Client,参见architecture图的最上 部分。deploy主要负责启动和调度用户实现的Spark application并且分
2013-12-18 00:00:57
1013
转载 spark配置
原文地址:http://www.cnblogs.com/vincent-hv/p/3316502.htmlSpark主要提供三种位置配置系统:环境变量:用来启动Spark workers,可以设置在你的驱动程序或者conf/spark-env.sh 脚本中;java系统性能:可以控制内部的配置参数,两种设置方法:编程的方式(程序中在创建SparkContext之前,使用
2013-12-17 23:43:11
695
转载 Spark各部分功能
转载地址 :http://blog.csdn.net/wyc09/article/details/16342809Spark源码分析Driver,Master,Worker,Executor每个App通过Driver使用Cluster:首先向Master注册App,然后每个Worker为其创建一个Executor。RDD,Partition,Task
2013-12-17 00:15:27
840
转载 spark介绍
Spark是一个小巧玲珑的项目,由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。系列文章见: Spark随谈 http://www.linuxidc.com/Linux/2013-08/88592.htmSpark之依赖(1)Map Reduce模型作为一个分布式计算框架,S
2013-12-16 00:05:10
727
转载 spark 之 SparkContext
SparkContext是Spark的入口, 它负责连接集群,创建RDD,广播变量和累积变量等。SparkContext可以说是spark的对外接口负责像使用者提供spark的各种功能, 它的作用是一个容器。(待理解)
2013-12-16 00:00:43
557
原创 杂记 待整理
1. 每个spark程序均有一个驱动程序,它运行main函数,在集群上执行并行操作2. spark有两种抽象 第一种是RDD 第二种是 shared variables ---- 共享变量 1. 广播变量 Broadcast variables。 它在所有节点都缓存只读的变量,就是master节点会往每一个slave节点都发送一份数据
2013-12-15 23:50:41
442
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人