spark-介绍 + 高可用 + Spark-submit + 历史服务器

• 为什么要使用spark
  -spark到目前为止没有竞争对手

• 为什么要用到大数据?

-文件超级大,一块硬盘放不下,—>hdfs上场;(存储问题)

-僵尸数据:(数据存储到一个位置得用起来);(CPU+内存来完成计算);多机一块运算(MapReduce)

-mr的开发流程特别繁琐;hive --> sql语句 --> 会转换成 mr 代码 --> hadoop中的 mr 和 hdfs 运行;

-hive动不动起 mr ,会超级的慢 ; —> presto – lmpala

-presto的缺点:支持的SQL语句不全,

-Hbase:crud特别快,rowkey:最多只能存储64KB,hbase启动的时候会一次把rowkey加载到内存中(如果rowkey存储的过多,内存放不下);column faimly:列族无上限存储到hdfs中

-所有所有的缺点都交给spark解决;spark吸收到我们之前所学框架的所有优点,并且弥补了不足

-spark:就是一个软件站(一堆软件的功能合并到了一起);就hdfs木有实现,

• 介绍
  -官网:http://spark.apache.org/

-Spark:闪电式的统一的分析引擎;是一个统一的大型数据处理引擎.


-下载:
下载网址:http://mirrors.ustc.edu.cn/apache/spark/spark-2.4.0/

-老版本如何下载