![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
-----Streaming
唐予之_
Java Scala Hadoop Spark Hive Kafka
展开
-
Spark Streaming开发入门——WordCount(Java&Scala)
一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程,需要添加Spark Streaming依赖。3、Spark streaming 基于Spark Core进行计算,需要注意事项: 设置本地master,如果指定local的话,必须配置至少二条线程,也可通过sparkconf来设置,因为Spark Streaming应用程序在运行的时原创 2016-04-21 18:26:46 · 6972 阅读 · 0 评论 -
Spark Streaming的Event Time和WaterMark理解
EventTime即事件真正生成的时间。例如一个用户在10:06点击 了一个按钮。记录在系统中为10:06。这条数据发送到Kafka,又到了Spark Streaming中处理,已经是10:08了。这个处理的时间就是process Time。Water Mark即 这个时间点之前的数据都到达了。例如现在是10:20 ,但是water Mark是 10:10 分,那么认为,10:10之前的数据都已经...原创 2018-05-19 11:38:53 · 5657 阅读 · 0 评论 -
Structured Streaming 动态流 join 静态流 Example
Structured Streaming 动态流 join 静态流 ExampleSpark 代码/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with *...原创 2018-05-24 16:27:19 · 1882 阅读 · 0 评论 -
Spark Structured Streaming Continuous模式(一)
Spark Structured Streaming 的Continuous模式是Spark 2.3 引入的一种持续计算模型。相比于之前的微批处理达到10ms内的延迟。首先还是展示 一个example:import java.utilimport java.util.UUIDimport com.alibaba.fastjson.JSONimport org.apache.sp...原创 2018-06-21 00:10:31 · 1888 阅读 · 0 评论 -
自定义实现Structured Streaming的Sink(以MySQLSink为例)
一、步骤二、代码三、效果原创 2018-08-29 21:15:35 · 3922 阅读 · 8 评论