spark概述

spark下载安装

版本：spark-2.2.0-bin-2.6.0-cdh5.7.0

下载：下载源代码、编译

解压

配置环境变量：vi ~/.bash_profile

spark Streaming

流处理框架，将上一次计算的出参作为下一次计算的入参

接受不同数据源的数据 spark Streaming 进行处理后 进行存储

特点

低延时、实时性

容错性：发生错误时，能有解决方案

分布式：可运行在几百上千个节点上

能够将批处理、机器学习、图计算等子框架和Spark Straming结合起来用

tips

one stack to rule them all : 一站式处理