Spark
Kevin.Yang
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 自定义接收器
Spark Streaming可以从任意数据源接受流数据,而不仅仅是那些内置支持的数据源(如Flume、kafka等)。这就要求开发人员实现一个接收器(recevier),用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器(recevier)实现和其在spark streaming中的应为为主线进行讲解。需要注意的是,自定义接收器可以用Scala或者Java实现。实现自定义翻译 2015-12-27 23:14:05 · 3580 阅读 · 0 评论 -
spark streaming 1.5.2 编程指南
1 概述Spark Streaming是Spark核心API的一个扩展,对于实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。Spark Streaming可以从 kafka、flume、Twitter、 ZeroMQ、Kinesis、TCP套接字等数据源获取数据,同时可以用由high-level函数(如map、reduce、join、window等)组成的复杂算法处理数据。最后,处翻译 2015-12-29 20:40:06 · 2422 阅读 · 1 评论 -
spark开发中一些错误
1. ERROR SparkContext: Error initializing SparkContext.com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'具体错误信息如下:产生错误的背景与环境描述:我将项目打原创 2016-01-25 23:27:03 · 18138 阅读 · 0 评论