Spark
Kevin.Yang
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 自定义接收器
Spark Streaming可以从任意数据源接受流数据,而不仅仅是那些内置支持的数据源(如Flume、kafka等)。这就要求开发人员实现一个接收器(recevier),用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器(recevier)实现和其在spark streaming中的应为为主线进行讲解。需要注意的是,自定义接收器可以用Scala或者Java实现。 实现自定义翻译 2015-12-27 23:14:05 · 3635 阅读 · 0 评论 -
spark streaming 1.5.2 编程指南
1 概述 Spark Streaming是Spark核心API的一个扩展,对于实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。Spark Streaming可以从 kafka、flume、Twitter、 ZeroMQ、Kinesis、TCP套接字等数据源获取数据,同时可以用由high-level函数(如map、reduce、join、window等)组成的复杂算法处理数据。最后,处翻译 2015-12-29 20:40:06 · 2451 阅读 · 1 评论 -
spark开发中一些错误
1. ERROR SparkContext: Error initializing SparkContext. com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' 具体错误信息如下: 产生错误的背景与环境描述: 我将项目打原创 2016-01-25 23:27:03 · 18205 阅读 · 0 评论