sparkstreaming
文章平均质量分 92
gongpulin
这个作者很懒,什么都没留下…
展开
-
sparkstreaming-JobScheduler, Job, JobSet 详解
JobScheduler, Job, JobSet 详解[酷玩 Spark] Spark Streaming 源码解析系列 ,返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本系列内容适用范围:* 2016.12.28 update, Spark 2.1 全系列 √ (2.1.0)* 2016.11.14 update, Spark 2.0 全系列 √ (2.0.0,转载 2017-09-03 23:26:10 · 1482 阅读 · 0 评论 -
时间序列数据的存储和计算 - 概述
转载:https://yq.aliyun.com/articles/104243摘要: 什么是时间序列数据 什么是时间序列(Time Series,以下简称时序)数据?从定义上来说,就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。什么是时间序列数据 什么是时间序列(Time Series,以...转载 2018-03-05 11:34:47 · 7766 阅读 · 0 评论 -
Structured Streaming 实现思路与实现概述
Structured Streaming 实现思路与实现概述[酷玩 Spark] Structured Streaming 源码解析系列 ,返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本文内容适用范围:* 2017.07.11 update, Spark 2.2 全系列 √ (已发布:2.2.0)* 2017.05.02 update, Spark 2.1 全系列转载 2017-10-10 23:36:43 · 9199 阅读 · 0 评论 -
消息队列探秘-Kafka全面解析
转载:http://www.jianshu.com/p/eba0067b1e1a转载:[http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/](http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A转载 2017-09-18 23:43:20 · 686 阅读 · 0 评论 -
DStream, DStreamGraph 详解
DStream, DStreamGraph 详解[酷玩 Spark] Spark Streaming 源码解析系列 ,返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本系列内容适用范围:* 2017.07.11 update, Spark 2.2 全系列 √ (已发布:2.2.0)* 2017.05.02 update, Spark 2.1 全系列 √ (已发布:2.转载 2017-09-10 22:20:16 · 319 阅读 · 0 评论 -
DStream 生成 RDD 实例详解
Quick Example我们在前文 [DStream, DStreamGraph 详解](1.1 DStream, DStreamGraph 详解.md) 中引用了 Spark Streaming 官方的 quick example 的这段对 DStream DAG 的定义,注意看代码中的注释讲解内容:// ssc.socketTextStream() 将创建一个 Socke转载 2017-08-29 23:20:43 · 587 阅读 · 0 评论 -
sparkstreaming优化
一、合理的Kafka拉取量:设置Spark Streaming最大数据接收率 - 如果运行Streaming应用程序的资源不是很多,数据处理能力跟不上接收数据的速率,可以为应用程序设置一个每秒最大接收记录数进行限制。对于Receiver模式的应用,设置spark.streaming.receiver.maxRate,对于Direct Kafka模式,设置spark.streaming.kafka.原创 2017-08-27 18:10:15 · 1135 阅读 · 0 评论 -
Spark Streaming编程指南
一、概述 Spark Streaming是基于Core Spark API的可扩展,高吞吐量,并具有容错能力的用于处理实时数据流的一个组件。Spark Streaming可以接收各种数据源传递来的数据,比如Kafka, Flume, Kinesis或者TCP等,对接收到的数据还可以使用一些用高阶函数(比如map, reduce, join及window)进行封装的复杂算法做进一步的处转载 2017-07-11 15:29:18 · 418 阅读 · 0 评论 -
sparkstreaming读取kafka的两种方式
spark streaming提供了两种获取方式,一种是同storm一样,实时读取缓存到内存中;另一种是定时批量读取。这两种方式分别是:Receiver-baseDirect一 、Receiver-base:Spark官方最先提供了基于Receiver的Kafka数据消费模式。不过这种方式是先把数据从kafka中读取出来,然后缓存在内存,再定原创 2017-08-27 13:59:28 · 33170 阅读 · 0 评论 -
Spark Streaming中的操作函数
根据Spark官方文档中的描述,在Spark Streaming应用中,一个DStream对象可以调用多种操作,主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func) map操作需要传入一个函数当做参数,具体调用形式为转载 2017-07-10 20:52:58 · 440 阅读 · 0 评论 -
[解决]Spark集群HA无法正常启动的问题
Spark集群HA无法正常启动的问题,master节点正常情况的状态为ALIVE与STANDBY,使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。今天,出现master节点一直处于RECOVERING,处理恢复状态,却不能正常启动。根据以往hadoop集群的经验,应该是zk管理master节点的问题解决方案为进行zk的客户端./zkCli.sh 查看目录ls ...转载 2018-03-13 21:59:15 · 1408 阅读 · 0 评论