czxylzl的博客

集群角色介绍 Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。 Standalone集群使用了分布式计算中的master-slave模型， master是集群中含有master进程的节点 slave是集群中的worker节点含有Executor进程 ●Spark架构图如下(先了解)： 集群规划 node01:master node02:slave/worker node03:slav

1.上传安装,解压 ●解压重命名 cd /export/servers tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark 1 2 3 4 ●注意： 如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可 chown -R root /export/servers/spark chgrp -R root /export/servers/spark 1 2 ●解压目录说

** Spark官方介绍 ** ●Spark是什么 Apache Spark是用于大规模数据处理的统一分析引擎 Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。 ●官网 http://spark.apache.org http://spark.apachecn.org ​​​​​​​ Spark特点 ●快 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10