spark
文章平均质量分 62
blesslyy
这个作者很懒,什么都没留下…
展开
-
Spark---Spark开头的杂项
Spark—Spark开头的杂项@(spark)[configure|exeption|env|sparkContext]SparkConf其核心是一个java.util.concurrent.ConcurrentHashMap[String, String],不同的key有自己的值除了正常的set之外,还有大量的’utils’函数比如def setMaster(master: String):原创 2015-05-21 22:34:47 · 1133 阅读 · 0 评论 -
Spark-task相关
Spark-task相关@(spark)[Task]原创 2015-05-21 22:37:10 · 470 阅读 · 0 评论 -
Spark-partitioner
Spark-partitioner@(spark)[partitioner]Partitioner/**原创 2015-05-21 22:38:42 · 822 阅读 · 0 评论 -
spark-sql-readme
spark-sql-readme@(spark)[sql][readme]This module provides support for executing relational queries expressed in either SQL or a LINQ-like Scala DSL.原创 2015-05-21 22:48:28 · 415 阅读 · 0 评论 -
Spark-logging
Spark-logging@(spark)[logging]代码目录src/main/scala/org/apache/spark/Logging.scala 这是一个非常简单的类,作为第一篇spark笔记非常合适 基本上这个class的主要用途就是包装了一下log4j,把它变成要给trait,可以很简单的在代码中使用。 1. 作为scala的入门读物很好。 2. 需要注意的是,这个Logg原创 2015-05-21 22:34:30 · 2209 阅读 · 0 评论 -
spark-broadcast
Spark’s broadcast variables, used to broadcast immutable datasets to all nodeBroadcast/**原创 2015-05-21 22:42:43 · 820 阅读 · 0 评论 -
Spark-shuffle
Spark-shuffle@(spark)[shuffle]ShuffleHandle/BaseShuffleHandeAn opaque handle to a shuffle, used by a ShuffleManager to pass information about it to tasksShuffleMemoryManager控制shuffle的memory使用的/**原创 2015-05-21 22:45:06 · 664 阅读 · 0 评论 -
Spark-streaming-scheduler
Spark-streaming-scheduler原创 2015-06-04 17:17:14 · 557 阅读 · 0 评论 -
Spark-streaming-summary
Spark Streaming functionality.原创 2015-06-04 17:15:25 · 510 阅读 · 0 评论 -
Spark-SQL-core
整个spark-sql的作用就是完成SQL语句到spark api的转换过程。原创 2015-05-21 22:49:50 · 1540 阅读 · 0 评论 -
Akka
akka@(scala)基本介绍Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。 官方网站 (http://akka.io/)的介绍是: Akka is a toolkit and runtime for building highly concurrent, distributed, and fault tole原创 2015-05-21 22:56:38 · 719 阅读 · 0 评论 -
Spark-sql-row
Spark-sql-row@(spark)[sql|row]Rowrow就是关系数据库中的一行。/**原创 2015-05-21 22:49:23 · 5422 阅读 · 1 评论 -
spark-sql-catalyst
简单说这部分就是做optimizer的工作的,关于这部分是有一篇论文,写的很清楚,可以当作high leve design来看。还有一篇blog,内容差不多。总的来说,在catalyst这部分做的事情基本上是传统关系数据库的: 1. parse(让sql语句变成合法的语法树) 2. resolve(验证olum原创 2015-05-21 22:49:32 · 920 阅读 · 0 评论 -
Spark-utils 类
按字母序简单描述ActorLogReceive记录所有的Actor信息原创 2015-05-21 22:35:39 · 1180 阅读 · 0 评论 -
Spark-rdd
Spark-rdd@(spark)[rdd] 首先介绍一下rdd,然后按字母字母顺序逐个描述各个rddRDD基类就叫RDD,这个文件非常长,有非常多的函数: 1. 省略比较直观的函数的说明 2. 有大量的功能函数distinct之类 3. 再次重申sc.runJob是所有实质性函数的入口 4. 在object RDD中含有大量的隐式转化 5. 这中间最重要的一个函数就是override原创 2015-05-21 22:37:20 · 485 阅读 · 0 评论 -
Spark-Dependency/Aggregator
@(spark)[Dependency|Aggregator] RDD的核心之一:依赖关系原创 2015-05-21 22:38:49 · 706 阅读 · 0 评论 -
Spark-futureAction
@(spark)[FutureAction]FutureAction原创 2015-05-21 22:40:50 · 974 阅读 · 0 评论 -
Spark-杂项
Spark-杂项@(spark)[input|serializer|partial]原创 2015-05-21 22:44:16 · 419 阅读 · 0 评论 -
Spark-storage
Spark-storage@(spark)[storage]原创 2015-05-21 22:44:26 · 839 阅读 · 0 评论 -
Spark-executor
Spark-executor@(spark)[executor]原创 2015-05-21 22:45:38 · 1124 阅读 · 0 评论 -
Spark-scheduler
Spark-scheduler@(spark)[scheduler]Task/**原创 2015-05-21 22:47:01 · 1433 阅读 · 0 评论 -
Spark-deploy
Spark-deploy@(spark)[deploy|yarn]原创 2015-05-21 22:47:04 · 823 阅读 · 0 评论 -
Spark-streaming-杂
Spark-streaming-杂原创 2015-06-04 17:17:47 · 621 阅读 · 0 评论