-
为什么要使用spark
-spark到目前为止没有竞争对手 -
为什么要用到大数据?
-文件超级大,一块硬盘放不下,—>hdfs上场;(存储问题)
-僵尸数据:(数据存储到一个位置得用起来);(CPU+内存来完成计算);多机一块运算(MapReduce)
-mr的开发流程特别繁琐;hive --> sql语句 --> 会转换成 mr 代码 --> hadoop中的 mr 和 hdfs 运行;
-hive动不动起 mr ,会超级的慢 ; —> presto – lmpala
-presto的缺点:支持的SQL语句不全,
-Hbase:crud特别快,rowkey:最多只能存储64KB,hbase启动的时候会一次把rowkey加载到内存中(如果rowkey存储的过多,内存放不下);column faimly:列族无上限存储到hdfs中
-所有所有的缺点都交给spark解决;spark吸收到我们之前所学框架的所有优点,并且弥补了不足
-spark:就是一个软件站(一堆软件的功能合并到了一起);就hdfs木有实现,
- 介绍
-官网:http://spark.apache.org/
-Spark:闪电式的统一的分析引擎;是一个统一的大型数据处理引擎.
-下载:
下载网址:http://mirrors.ustc.edu.cn/apache/spark/spark-2.4.0/
-老版本如何下载