第7课：实战解析spark运行原理和rdd解密

1.spark运行优势

善于使用内存，磁盘，迭代式计算是其核心

2.现在为什么很多公司都是使用java开发spark

a.scala高手较少，java高手较多

b.项目对接比较容易

c.系统运维方便

3.spark只能取代hive的存储引擎，不能取代hive的数仓部分

4.数据输出

可以把数据输出到hdfs，hive，s3，hbase

5.RDD

弹性表现：

a.rdd分片默认保存在内存，如果数据存储不了，则放到磁盘中

b.很好的容错机制

c.test失败后会自动进行特定次数的重试，默认4次

d.stage如果失败会自动的进行重试，只计算失败的任务，默认重试3次