Spark Streaming
huo_火力全开
吃得苦中苦,方位人上人
展开
-
Spark Streaming Demo练习
1.Spark Streaming WC 的简单统计练习 2. Basic Source For text files streamingContext.textFileStream(dataDirectory) 3.包括 通过 DataFrame SparkSQL 统计原创 2018-11-16 15:44:01 · 1362 阅读 · 1 评论 -
Flume、Kafka、Spark streaming整合
Flume、Kafka、Spark streaming整合原创 2019-01-28 16:06:43 · 284 阅读 · 0 评论 -
Spark Streaming 算子:reduceByKeyAndWindow
窗口时间长度 窗口滑动时间长度 批处理时间长度的设置原创 2019-01-28 17:32:34 · 350 阅读 · 0 评论 -
Spak Streaming算子:checkpoint
Spark Streaming 算子 checkpoint的产生背景 使用场景原创 2019-01-28 17:55:44 · 235 阅读 · 0 评论 -
Spark Streaming算子:transform
Spark Streaming 算子 transform的产生背景 使用场景原创 2019-02-06 10:31:16 · 857 阅读 · 0 评论 -
Spark Streaming算子:foreachRDD(func)
Spark Streaming算子: foreachRDD(func)原创 2019-02-07 16:14:48 · 500 阅读 · 0 评论 -
spark streaming、kafka 内存调优、分区调优
spark Streaming 限速 spark.streaming.kafka.maxRatePerPartition 而在Direct Approach,则是通过参数 spark.streaming.kafka.maxRatePerPartition 来配置的。这里需要注意的是,这里是对每个Partition进行限速。所以你需要事先知道Kafka有多少个分区,才好评估系统的实际吞吐量,从而...原创 2019-04-08 16:30:50 · 3286 阅读 · 0 评论