![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 90
C_FuL
这个作者很懒,什么都没留下…
展开
-
Spark-core 运行原理
架构图在此Spark Core部件解析应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor;驱动程序(Driver Program): 运行Application的main()函数并且创建 SparkContext. 通常用SparkContext代表Driver Program执行单元 (Executor):原创 2017-10-24 22:42:19 · 1127 阅读 · 0 评论 -
Spark-RDD详解
什么是RDD?弹性分布式数据集分布在不同集群节点的内存中可以理解成一大数组数组的每一元素是RDD的一分区RDD的每一分区是一数据块一个RDD可以分布并被运算在多台计算机节点的内存及硬盘中 RDD代表了一系列数据集合分布在机群的内存中。SPARK CORE 的任务是对这些数据进行分布式计算。RDD特性RDD数据块可以放在磁盘上也可放在内存中(取决于设置)如出现缓存失效或丢失,RDD的原创 2017-10-30 15:57:53 · 686 阅读 · 1 评论 -
Spark组件介绍
Spark简介Spark可以独立于Hadoop单独运行Spark的设计理念 交互式和迭代式在集群多点内存中运行的分布式计算容错数据集合 同时Spark还支持使用不同的语言编程(Java,Scala,R,Python) 可以从不同的数据源获取数据(HDFS,Cassandra,HBase) 实现不同的功能Spark Core, Spark SQL, Spark Streamin原创 2017-10-23 10:29:16 · 4663 阅读 · 0 评论