![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
號先生
爱生活.爱运动.
展开
-
spark的集群搭建-HA
spark-day01学习笔记1、目标1、熟悉spark相关概念2、搭建spark集群3、编写简单的spark程序2、spark概述spark是基于内存的一个计算框架,计算速度非常的快。这里面没有涉及到任何存储,如果想要处理外部的数据源,比如数据在HDFS上,此时我们就需要先搭建一个hadoop集群。3、spark的特点1、速度快(比mapredu原创 2018-01-05 23:20:32 · 250 阅读 · 0 评论 -
spark相关面试题
spark面试问题收集spark面试问题1、spark中的RDD是什么,有哪些特性RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合,用于存放数据的Distributed:分布式,可以并行在集群计算Resilient:表...原创 2018-03-18 23:51:09 · 22891 阅读 · 3 评论