威少（微笑）

目录 一：Spark Streaming 二：离线批处理 三：大数据交互式查询 四：流式计算对比 五：批量计算对比流式计算 六：离线批处理、大数据交互式查询、流式计算对比 七：Kafka 一：Spark Streaming 含义：其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架 还是基于内存的大数据实时计算模型。而且，它的底层的组件或者叫做概念，其实...

目录 一：HDFS作为数据源的本质 二：可监控的文件前提 三：特点 四：整体代码 一：HDFS作为数据源的本质 Spark Streaming会监视指定的HDFS目录，并且处理出现在目录中的文件 二：可监控的文件前提 （1）所有放入HDFS目录中的文件，都必须有相同的格式？ （2）要增加被扫描文件时，必须使用移动或者重命名的方式，将文件移入目录 三：特点 已经处理的...

目录 一：与核心Spark Core 编程的不同 二：Spark Streaming 与 Storm 模型的区别 三：编码实战 一：与核心Spark Core 编程的不同 //Master 中 新增的线程号 //Durations: 设置 Context 对象时新增 batch interval 参数 //基本RDD对象的封装 //正式的启动方法，并不是 action操作进行...

目录 一：原理 二：如何进行Kafka数据源连接 1.高可靠性 2、在maven添加依赖 3、使用第三方工具类创建输入DStream 三：KafkaUtils API详解 四：Kafka命令 五：实战代码 一：原理 Receiver是使用Kafka的高层次Consumer API来实现的 Receiver从Kafka中获取的数据都是存储在Spark Executor的内...

目录 一：Spark Streaming 的含义 二：DStream 的含义 三：相关中间件的了解 一：Spark Streaming 的含义 图片 Spark Engine：英 ['endʒɪn] n. 引擎，发动机；机车，火车头；工具 二：DStream 的含义 DStream，英文全称为Discretized Stream，中文翻译为“离散流”，它代表了一个...

一：数据丢失情况 1.Receiver线程失败： Executor只有函数处理逻辑和数据，外部InputStream流入到Receiver中通过BlockManager写入磁盘、内存、WAL进行容错。WAL先写入磁盘然后写入Executor中，失败可能性不大。如果1G数据要处理，Executor一条一条接收，Receiver接收数据是积累到一定记录后才会写入WAL，如果Receiver线程失败...

目录 一：StreamingContext创建 二：实现准实时计算业务 三：StreamingContext使用注意事项 一：StreamingContext创建 （1）val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingContext(conf, Sec...

目录 一：Spark Streaming提供了两种内置的数据源支持 二：Receiver对象 一：Spark Streaming提供了两种内置的数据源支持 1、基础数据源：StreamingContext API中直接提供了对这些数据源的支持，比如文件、socket、Akka Actor等。 socketTextStream函数 val socketStreaming = ssc....