SparkStreaming
文章平均质量分 88
legotime
这个作者很懒,什么都没留下…
展开
-
SparkStreaming可视化之Wisp
case class Highchart(val series : scala.collection.Traversable[com.quantifind.charts.highcharts.Series], val title : scala.Option[com.quantifind.charts.highcharts.Title] = { /* compiled code */ },原创 2016-07-25 17:53:38 · 1928 阅读 · 0 评论 -
SparkStreaming之基本数据源输入
输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源(1)基本源(Basic sources):这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、Akka的actor等。(2)高级源(Advanced sources):这些源包括Kafka,Flume,Kinesis,Twitter等等。1、基本数据原创 2016-07-06 07:45:47 · 10604 阅读 · 7 评论 -
SparkStreaming之DStream operations
Transformations on DStreams 和RDDs一样,各种转换允许数据从inputDstream得到之后进行各种改造。DStreams支持各种转换,他们是基于Spark的RDD的,一些常规的转换如下:但是和和RDD有点区别,那就是DStream是内部含有多个RDD,它是用HashMap接受流进来的RDDprivate[strea原创 2016-07-06 07:46:44 · 1195 阅读 · 0 评论 -
SparkStreaming之foreachRDD
首先我们来对官网的描述了解一下。DStream中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。所以要掌握它,对它要有深入了解。下面有一些常用的错误需要理解。经常写数据到外部系统需要创建一个连接的object(eg:根据TCP协议连接到远程的服务器,我们连接外部数据库需要自己的句柄原创 2016-07-06 07:47:22 · 21868 阅读 · 2 评论 -
SparkStreaming之窗口函数
WindowOperations(窗口操作) Spark还提供了窗口的计算,它允许你使用一个滑动窗口应用在数据变换中。下图说明了该滑动窗口。如图所示,每个时间窗口在一个个DStream中划过,每个DSteam中的RDD进入Window中进行合并,操作时生成为窗口化DSteam的RDD。在上图中,该操作被应用在过去的3个时间单位的数据,和划过了2个时间单位。这说明原创 2016-07-06 07:47:50 · 14804 阅读 · 0 评论 -
SparkStreaming之Output Operations
Output Operation On DStream输出操作允许DStream的数据保存在外部系统中,像数据库或者文件系统。下面是官网给的说明:1、print函数/** * Print the first ten elements of each RDD generated in this DStream. This is an output * oper原创 2016-07-06 07:48:36 · 1294 阅读 · 0 评论 -
SparkStreaming之Accumulators和Broadcast
1、Accumulators和Broadcast基础理解共享变量共享变量目的是将一个变量缓存在每台机器上,而不用在任务之间传递。在SparkCore中经常广播一些环境变量,目的是使得在同一时间集群中的每台机器的环境变量都更新。它的功能是用于有效地给每个节点输入一个环境变量或者数据集副本,這样可以减少通信的开销。這样使得我们在多个任务之间使用相同数据的时候,创建广播变量结合并行处原创 2016-07-06 07:49:10 · 4816 阅读 · 0 评论 -
sparkStreamming和高级数据源kafka
对于SparkStreaming+Kafka的组合,有两种方法。Approach 1: Receiver-based ApproachApproach 2: Direct Approach (No Receivers)实例1----KafkaReceive------------------------------------------------------原创 2016-07-06 07:49:46 · 1746 阅读 · 0 评论