大数据开发教学—什么是Spark

学习大数据专业的人，相信对Spark这个名词不陌生吧，Spark是一个基于内存的开源计算框架。Spark作为大数据领域活跃、热门、高效的大数据通用计算平台，2009年诞生于美国加州大学伯克利分校AMP实验室。今天加米谷为大家带来关于什么是Spark的一些介绍。

 

 

1. Spark的发展史

2009年诞生于美国加州大学伯克利分校AMP实验室；

2010年通过BSD许可协议开源发布；

2013年成为Apache孵化项目；

2014年2月成为Apache的顶级项目；

2014年5月Spark1.0.0版正式上线；

2014年11月，Spark的母公司Databricks团队使用Spark刷新数据排序世界记录

1. Spark的体系结构

Spark主要包括Spark Core和在Spark Core基础之上建立的应用框架Spark SQL、Spark Streaming、MLlib和GraphX。

 

 

3、Spark的安装

Spark伪分布模式的部署

解压 tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz -C ~/training/

注意：由于Hadoop和Spark的脚本有冲突，设置环境变量的时候，只能设置一个

核心配置文件:  conf/spark-env.sh

         export JAVA_HOME=/root/training/jdk1.8.0_144

         export SPARK_MASTER_HOST=bigdata111

         export SPARK_MASTER_PORT=7077      

从节点的地址：slaves文件中填入主机名即可，注意hosts文件里要有对ip的解析

启动Spark集群  sbin/start-all.sh，这里我个人是给这个文件做了一个软链接start-spark.sh，因为hadoop下的启动脚本也是start-all.sh，会有冲突

Web界面：主机名:8080

4、Spark的特点

快！与之前我们所写的关于Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。

以上就是关于什么是Spark的一些介绍了，Spark还有很多的强大的能力需要去了解，目前Spark已经在电商、零售、商业和金融等领域广泛的使用，对我们从业者来说是很重要的。