![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark Streaming
Bright Huang
这个作者很懒,什么都没留下…
展开
-
SparkStreaming中的Window操作(driver、executor的执行顺序以及 foreach 及 foreach partition 的效率)
SparkStreaming中的Window操作窗口函数定义1. 创建topic2. 开启生产者topic3. window(windowLength, slideInterval)3.1 测试4. countByWindow(windowLength,slideInterval)4.1 测试5. countByValueAndWindow(windowLength,slideInterval, [numTasks])5.1 测试6. reduceByWindow(func,windowLength,原创 2020-12-23 19:46:27 · 460 阅读 · 0 评论 -
Spark Streaming 自定义接收器实例
Spark Streaming可以从任意数据源接受流数据,而不仅仅是那些内置支持的数据源(如Flume、kafka等)。这就要求开发人员实现一个接收器(recevier),用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器(recevier)实现和其在spark streaming中的应为为主线进行讲解。需要注意的是,自定义接收器可以用Scala或者Java实现。 1. 实现自定义Receiver 自定义接收器必须继承自抽象类Receiver,实现两个方法 onStart():接收数据。 onSto原创 2020-12-21 19:37:05 · 130 阅读 · 0 评论 -
SparkStreaming之用kafka 作为生产者输入数据实现Word Count
SparkStreaming之用kafka 作为生产者输入数据实现Word Count1. 创建topic2. 开启生产者topic3. Scala代码 1. 创建topic kafka-topics.sh --create --zookeeper 192.168.116.60:2181 --topic sparkKafkaDemo --partitions 1 --replication-factor 1 2. 开启生产者topic kafka-console-producer.sh --topic原创 2020-12-21 19:28:43 · 189 阅读 · 0 评论 -
SparkStreaming通过nc -lk及读取本地文件进行Word Count
maven依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> &l原创 2020-12-21 19:07:37 · 376 阅读 · 0 评论