![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark-Streaming
XiaoGuang-Xu
主要从事hadoop Spark,兴趣爱好:数据挖掘和机器学方向
展开
-
如何优雅地终止正在运行的Spark Streaming程序
转载原文地址:可以点击:https://www.iteblog.com/archives/1890.html进入原文阅读。 一直运行的Spark Streaming程序如何关闭呢?是直接使用kill命令强制关闭吗?这种手段是可以达到关闭的目的,但是带来的后果就是可能会导致数据的丢失,因为这时候如果程序正在处理接收到的数据,但是由于接收到kill命令,那它只能停止整个程转载 2017-03-08 11:02:53 · 6726 阅读 · 0 评论 -
Spark streaming kafka OffsetOutOfRangeException 异常分析与解决
Spark streaming kafka OffsetOutOfRangeException 异常分析与解决原文地址:http://blog.csdn.net/xueba207/article/details/51174818自从把Spark 从1.3升级到1.6之后,kafka Streaming相关问题频出。最近又遇到了一个。 job中使用Kafka Di转载 2017-03-29 10:46:19 · 2055 阅读 · 0 评论 -
实时流计算Spark Streaming原理介绍
实时流计算Spark Streaming原理介绍 1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数转载 2017-07-08 11:32:12 · 506 阅读 · 0 评论 -
Spark Streaming 的玫瑰与刺
Spark Streaming 的玫瑰与刺玫瑰篇主要是说Spark Streaming的优势点,刺篇就是描述Spark Streaming 的一些问题,做选型前关注这些问题可以有效的降低使用风险。说人话:其实就是讲Spark Streaming 的好处与坑。作者:来源:博客虫|2016-01-28 10:11 移动端 收藏 分享转载 2017-03-24 23:15:28 · 397 阅读 · 0 评论 -
Spark Streaming 数据清理机制
Spark Streaming 数据清理机制时间 2016-05-11 10:29:54 51CTO原文 http://developer.51cto.com/art/201605/511024.htm主题 Spark StreamingSpark Streaming 数据清理机制大家刚开始用Spark Streaming时,心里肯定嘀咕,对转载 2017-03-24 23:09:50 · 653 阅读 · 0 评论 -
Spark Streaming 实现思路与模块概述
Spark Streaming 实现思路与模块概述[酷玩 Spark] Spark Streaming 源码解析系列 ,返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本文内容适用范围:2016.01.04 update, Spark 1.6 全系列 √ (1.6.0)2015.11.09 update, Spark 1.5 全系列 √ (1.5.0,转载 2017-03-23 13:13:21 · 677 阅读 · 0 评论 -
Sparak-Streaming基于Offset消费Kafka数据
Sparak-Streaming基于Offset消费Kafka数据原文http://blog.csdn.net/kwu_ganymede/article/details/50930962Sparak-Streaming基于Offset消费Kafka数据1、官方提供消费kafka的数据实例[java] view plain copy转载 2017-03-29 15:16:47 · 757 阅读 · 0 评论 -
Spark Streaming:性能调优
Spark Streaming:性能调优原文网址: http://blog.csdn.net/kwu_ganymede/article/details/50577920数据接收并行度调优(一)通过网络接收数据时(比如Kafka、Flume),会将数据反序列化,并存储在Spark的内存中。如果数据接收称为系统的瓶颈,那么可以考虑并行化数据接收。每一个输入DSt转载 2017-03-22 14:33:58 · 340 阅读 · 0 评论 -
Spark createDirectStream保存kafka offset(JAVA实现)
Spark createDirectStream保存kafka offset(JAVA实现)问题描述最近使用Spark streaming处理kafka的数据,业务数据量比较大,就使用了kafkaUtils的createDirectStream()方式,此方法直接从kafka的broker的分区中读取数据,跳过了zookeeper,并且没有receiver,是spa转载 2017-03-28 15:40:33 · 753 阅读 · 0 评论 -
Spark streaming kafka1.4.1中的低阶api createDirectStream使用总结(Scala实现)
Spark streaming kafka1.4.1中的低阶api createDirectStream使用总结原文:http://blog.csdn.net/ligt0610/article/details/47311771 由于目前每天需要从kafka中消费20亿条左右的消息,集群压力有点大,会导致job不同程度的异常退出。原来使用sp转载 2017-03-28 15:25:43 · 536 阅读 · 0 评论 -
Spark Streaming+ FlumeNG整合
转自:http://blog.csdn.net/u010398018/article/details/36634059SparkStreaming 提供一个处理Flume流的事件,[html] view plaincopyclass FlumeUtils def createStream(ssc: Str转载 2015-08-21 14:03:32 · 383 阅读 · 0 评论 -
Kafka+Spark Streaming+Redis实时系统实践
Kafka+Spark Streaming+Redis实时系统实践 http://www.iteblog.com/archives/1378炼数成金-Spark大数据平台视频百度网盘免费下载http://www.iteblog.com/archives/1295转载 2015-06-08 10:10:28 · 699 阅读 · 0 评论 -
Spark(1.2.0) Streaming 集成 Kafka 总结
Spark(1.2.0) Streaming 集成 Kafka 总结 http://www.aboutyun.com/thread-11536-1-1.html(出处: about云开发)问题导读1.spark中什么是stage?2.什么是 kafka topic?3.本文中kafka和消费者线程遵循哪些约束?转载 2015-09-17 14:33:39 · 648 阅读 · 0 评论 -
用实例讲解Spark Sreaming
用实例讲解Spark Sreaming本篇文章用Spark Streaming +Hbase为列,Spark Streaming专为流式数据处理,对Spark核心API进行了相应的扩展。什么是Spark Streaming?首先,什么是流式处理呢?数据流是一个数据持续不断到达的无边界序列集。流式处理是把连续不断的数据输入分割成单元数据块来处理。流式处理是一个低延迟的处理和流转载 2016-05-13 15:21:10 · 446 阅读 · 0 评论 -
SparkStreaming消费Kafka数据遇到的问题
SparkStreaming消费Kafka数据遇到的问题:查看ZK:原创 2017-02-08 14:32:56 · 2755 阅读 · 0 评论 -
Spark Streaming的容错和数据无丢失机制
Spark Streaming的容错和数据无丢失机制原文链接:Improved Fault-tolerance and Zero Data Loss in Spark Streaming(译者/彭根禄)实时的流式处理系统必须是7*24运行的,同时可以从各种各样的系统错误中恢复,在设计之处,Spark Streaing就支持driver和worker节点的错误恢复。然后,转载 2017-02-10 10:50:58 · 510 阅读 · 0 评论 -
Spark Streaming 'numRecords must not be negative'问题解决
Spark Streaming 'numRecords must not be negative'问题解决原文: http://blog.csdn.net/xueba207/article/details/51135423问题描述笔者使用Spark streaming读取Kakfa中的数据,做进一步处理,用到了KafkaUtil的createDirectStre转载 2017-03-29 10:35:11 · 1227 阅读 · 0 评论