Spark Streaming
Spark Streaming
威少SOS
改变从这里开始
展开
-
初尝Spark Streaming
目录一:Spark Streaming二:离线批处理三:大数据交互式查询四:流式计算对比五:批量计算对比流式计算六:离线批处理、大数据交互式查询、流式计算对比七:Kafka一:Spark Streaming含义:其实就是一种Spark提供的,对于大数据,进行实时计算的一种框架还是基于内存的大数据实时计算模型。而且,它的底层的组件或者叫做概念,其实...原创 2019-06-26 19:01:26 · 237 阅读 · 0 评论 -
Spark Streaming之DStream基于HDFS的实时计算
目录一:HDFS作为数据源的本质二:可监控的文件前提三:特点四:整体代码一:HDFS作为数据源的本质Spark Streaming会监视指定的HDFS目录,并且处理出现在目录中的文件二:可监控的文件前提(1)所有放入HDFS目录中的文件,都必须有相同的格式?(2)要增加被扫描文件时,必须使用移动或者重命名的方式,将文件移入目录三:特点已经处理的...原创 2019-07-02 12:47:11 · 512 阅读 · 0 评论 -
Spark Streaming之实时wordcount程序实战
目录一:与核心Spark Core 编程的不同二:Spark Streaming 与 Storm 模型的区别三:编码实战一:与核心Spark Core 编程的不同//Master 中 新增的线程号//Durations: 设置 Context 对象时新增 batch interval 参数//基本RDD对象的封装//正式的启动方法,并不是 action操作进行...原创 2019-06-27 16:42:10 · 252 阅读 · 0 评论 -
DStream之Kafka数据源(基于Receiver的方式)
目录一:原理二:如何进行Kafka数据源连接1.高可靠性2、在maven添加依赖3、使用第三方工具类创建输入DStream三:KafkaUtils API详解四:Kafka命令五:实战代码一:原理Receiver是使用Kafka的高层次Consumer API来实现的Receiver从Kafka中获取的数据都是存储在Spark Executor的内...原创 2019-07-03 12:41:19 · 616 阅读 · 0 评论 -
Spark Streaming之DStream的基本工作原理
目录一:Spark Streaming 的含义二:DStream 的含义三:相关中间件的了解一:Spark Streaming 的含义图片Spark Engine:英 ['endʒɪn] n. 引擎,发动机;机车,火车头;工具 二:DStream 的含义DStream,英文全称为Discretized Stream,中文翻译为“离散流”,它代表了一个...原创 2019-06-28 23:32:08 · 621 阅读 · 0 评论 -
spark Streaming的数据容错,事务的分析
一:数据丢失情况1.Receiver线程失败:Executor只有函数处理逻辑和数据,外部InputStream流入到Receiver中通过BlockManager写入磁盘、内存、WAL进行容错。WAL先写入磁盘然后写入Executor中,失败可能性不大。如果1G数据要处理,Executor一条一条接收,Receiver接收数据是积累到一定记录后才会写入WAL,如果Receiver线程失败...原创 2019-06-30 00:36:18 · 293 阅读 · 0 评论 -
Spark Streaming之StreamingContext详解
目录一:StreamingContext创建二:实现准实时计算业务三:StreamingContext使用注意事项一:StreamingContext创建(1)val conf = new SparkConf().setAppName(appName).setMaster(master);val ssc = new StreamingContext(conf, Sec...原创 2019-06-30 23:41:38 · 1911 阅读 · 0 评论 -
Spark Streaming之输入DStream和Receiver详解
目录一:Spark Streaming提供了两种内置的数据源支持二:Receiver对象一:Spark Streaming提供了两种内置的数据源支持1、基础数据源:StreamingContext API中直接提供了对这些数据源的支持,比如文件、socket、Akka Actor等。socketTextStream函数val socketStreaming = ssc....原创 2019-07-01 12:56:09 · 551 阅读 · 0 评论