sparkStreaming
花和尚也有春天
会收集一些不错的文章,时常品读,也学着自己总结一些东西,坚持努力的方向!
展开
-
spark:sparkstreaming 0.10版本 案例1:从 kafka 采集数据,并存储到 Hbase Demo示例 / 案例2:实时更新mysql
pom:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/原创 2020-06-19 10:38:06 · 729 阅读 · 0 评论 -
spark:sparkstreaming 0.08版本 从 kafka 采集数据,并调用HTTP接口传参 + 定时任务
pom:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/原创 2020-06-19 11:19:08 · 1068 阅读 · 0 评论 -
SparkStreaming:updateStateByKey
updateStateByKey(func)从名字上来看,该函数会更新根据key聚合,并不断更新value值要想使用该函数,Dstream之前的类型必须是K,V形式的二元组。经过执行func函数后,会返回一个key的所有的聚合值得状态。以word count为例,对于每一个批的数据进行分解聚合,会得到当前的这个批的状态,经过聚合后得到值的,假设有(word1,10),(word2,1...转载 2018-09-26 23:59:47 · 653 阅读 · 0 评论 -
sparkStreaming:基于kafka的Direct详解
本博文主要包括一下内容: 1,SparkStreaming on Kafka Direct工作原理机制 2,SparkStreaming on Kafka Direct 案例实战 3,SparkStreaming on Kafka Direct源码解析一:SparkStreaming on Kafka Direct工作原理机制:1、Direct方式特点:(1)Direct的方式是...转载 2018-10-18 12:53:45 · 824 阅读 · 0 评论 -
sparkStreaming:实时流计算Java案例
现在,网上基于spark的代码基本上都是Scala,很多书上也都是基于Scala,没办法,谁叫spark是Scala写出来的了,但是我现在还没系统的学习Scala,所以只能用java写spark程序了,spark支持java,而且Scala也基于JVM,不说了,直接上代码这是官网上给出的例子,大数据学习中经典案例单词计数 在linux下一个终端 输入 $ nc -lk 9999然后运行下...转载 2018-10-18 21:06:55 · 2737 阅读 · 0 评论 -
Spark Streaming:原理介绍 & 实时流计算 & perfect
目录1、Spark Streaming简介1.1 概述1.2 术语定义1.3 Storm与Spark Streming比较2、运行原理2.1 Streaming架构2.2 编程模型2.2.1 如何使用Spark Streaming2.2.2 DStream的输入源2.2.3 DStream的操作2.3 容错、持久化和性能调优2.3.1 容错2....转载 2018-10-18 23:25:09 · 378 阅读 · 0 评论