![afe38bedbc572bde36d8721a1b135fe6.png](https://i-blog.csdnimg.cn/blog_migrate/4041e4b7f1ff2502738d08c304b0d3a4.jpeg)
1.关于Spark
- 2009年,spark诞生于伯克利大学的amplab。最重要的是,spark只是一个实验项目,只包含很少的代码,属于轻量级框架。
- 2010年,伯克利大学正式启动了Spark项目。
- 2013年6月,Spark成为Apache基金会的一个项目,并进入了高速开发阶段。第三方开发人员贡献了大量代码,并且非常活跃
- 2014年2月,Spark被称为Apache的顶级项目。与此同时,大数据公司cloudera宣布增加对spark框架的投资,以取代MapReduce。
- 2014年4月,大数据公司MAPR进入了Spark阵地。Apache mahout放弃了MapReduce,将使用spark作为计算引擎。
- 2014年5月,发布了Spark 1.0.0。
- 2015年,Spark在国内IT行业中越来越受欢迎。越来越多的公司开始专注于部署或使用Spark取代MR2,hive,storm和其他传统的大数据并行计算框架。
2.什么是Spark?
- Apache Spark™ 是用于大规模数据处理的统一分析引擎。
- 大型数据集的统一分析引擎
- Spark是基于内存的通用并行计算框架,旨在使数据分析更快
- Spark包含大数据领域的各种通用计算框架
- Spark Core(离线计算)
- Sparksql(交互式查询)
- Spark Streaming(实时计算)
- Spark mllib(机器学习)
- Spark graphx(图形计算)
3. Spark可以取代Hadoop吗?
不完全正确。
因为我们只能用火花的核心,而不是MR用于离线计算,数据存储仍取决于HDFS。
Spark+Hadoop的结合是最流行的组合和最有前途的一个,在未来大数据的领域!
4.Spark的特点
- 速度
- 内存计算比Mr快100倍
- 磁盘计算比Mr快10倍以上
- 易于使用
- 提供Java Scala Python R语言的API接口
- 一站式解决方案
- Spark核心(离线计算)
- Spark SQL(交互式查询)
- Spark流式传输(实时计算)
- …..
- 可以在任何平台上运行
- Yarn
- Mesos
- Standalone
5.Spark的缺点
- JVM的内存开销太大,1g的数据通常会消耗5g的内存(tungsten项目试图解决此问题)
- 不同的spark应用程序之间没有有效的共享内存机制(项目Tachyon正在尝试引入分布式内存管理,因此不同的spark应用程序可以共享缓存的数据)
6. Spark与MR
6.1 MR的局限性
- 低层次的抽象,需要手工编写代码,很难使用
- 仅提供两个操作,即Map和Reduce,缺少表达式
- 作业只有两个阶段:映射和缩小。复杂的计算需要完成大量工作。作业之间的依赖关系由开发人员自己管理。
- 中间结果(reduce的输出)也放置在HDFS文件系统中
- 高延迟,仅适用于批处理数据,并且对交互式数据处理和实时数据处理的支持不足
- 迭代数据处理性能不佳
6.2 Spark解决了哪些问题?
- 低层次的抽象,需要手工编写代码,很难使用
- 在Spark中通过RDD(弹性分布式数据集)进行抽象
- 仅提供两个操作,即map和reduce,缺少表达式
- 火花中提供了许多运算符
- 作业只有两个阶段:map和reduce。
- Spark可能有多个阶段
- 中间结果也在HDFS文件系统上(缓慢)
- 如果中间结果在内存中,它将被写入本地磁盘而不是HDFS。
- 高延迟,仅适用于批处理数据,并且对交互式数据处理和实时数据处理的支持不足
- Sparksql和sparkstreaming解决了以上问题
- 迭代数据处理性能不佳
- 通过将数据缓存在内存中来提高迭代计算的性能
==因此,将Hadoop MapReduce替换为新一代大数据处理平台是技术发展的趋势。在新一代的大数据处理平台中,spark是目前得到最广泛认可和支持的。
7. Spark版本
- spark1.6.3:Scala版本2.10.5
- spark2.2.0:Scala 2.11.8版本(建议用于新项目)
- hadoop2.7.5
8.独立安装spark
- 准备安装软件包spark-2.2.0-bin-hadoop 2.7.tgz
$tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/$mv spark-2.2.0-bin-hadoop2.7/ spark
- 修改spark env.sh
export JAVA_HOME=/opt/jdkexport SPARK_MASTER_IP=hdp01export SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=4export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=2gexport HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
- 配置环境变量
#Configure environment variables for sparkexport SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
- 启动stand-alone模式的Spark
$start-all-spark.sh
- 查看启动状态
http://hdp01:8080
9.安装spark分布式集群
- 配置spark env.sh
[root@hdp01 /opt/spark/conf]
export JAVA_HOME=/opt/jdk #Configure the host of the master export SPARK_MASTER_IP=hdp01 #Configure the port for master host communication export SPARK_MASTER_PORT=7077 #Configure the number of CPU cores used by spark in each worker export SPARK_WORKER_CORES=4 #Configure one worker per host export SPARK_WORKER_INSTANCES=1 #The memory used by worker is 2GB export SPARK_WORKER_MEMORY=2g #Directory in Hadoop's configuration file export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
- 配置slaves
[root@hdp01 /opt/spark/conf]
hdp03 hdp04 hdp05
- 分发Spark
[root@hdp01 /opt/spark/conf]
$scp -r /opt/spark hdp02:/opt/ $scp -r /opt/spark hdp03:/opt/ $scp -r /opt/spark hdp04:/opt/ $scp -r /opt/spark hdp05:/opt/
- 分发在hdp01上配置的环境变量
$scp -r /etc/profile hdp03:/etc/
[root@hdp01 /]
$scp -r /etc/profile hdp02:/etc/ $scp -r /etc/profile hdp03:/etc/ $scp -r /etc/profile hdp04:/etc/ $scp -r /etc/profile hdp05:/etc/
- 启动Spark
[root@hdp01 /]
$start-all-spark.sh
10. 配置Spark高可用性集群
先停止正在运行的火花集群
- 修改spark env.sh
#Note the following two lines#export SPARK_MASTER_IP=hdp01#export SPARK_MASTER_PORT=7077
- 添加以下内容
$export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp03:2181,hdp04:2181,hdp05:2181 -Dspark.deploy.zookeeper.dir=/spark"
- 分发修改后的配置
$scp /opt/spark/conf/spark-env.sh hdp02:/opt/spark/conf$scp /opt/spark/conf/spark-env.sh hdp03:/opt/spark/conf$scp /opt/spark/conf/spark-env.sh hdp04:/opt/spark/conf$scp /opt/spark/conf/spark-env.sh hdp05:/opt/spark/conf
- 启动集群
[root@hdp01 /]
$start-all-spark.sh
[root@hdp02 /]
$start-master.sh
11.第一个Spark Shell程序
$spark-shell --master spark://hdp01:7077 #Spark shell can specify the resources (total cores, memory used on each work) used by the spark shell application at startup.$spark-shell --master spark://hdp01:7077 --total-executor-cores 6 --executor-memory 1g#If you do not specify to use all cores on each worker by default, and 1G memory on each worker>>>sc.textFile("hdfs://ns1/sparktest/").flatMap(_.split(