Spark Streaming
huo_火力全开
吃得苦中苦,方位人上人
展开
-
Spark Streaming Demo练习
1.Spark Streaming WC 的简单统计练习2. Basic Source For text filesstreamingContext.textFileStream(dataDirectory)3.包括 通过 DataFrame SparkSQL 统计原创 2018-11-16 15:44:01 · 1421 阅读 · 1 评论 -
Flume、Kafka、Spark streaming整合
Flume、Kafka、Spark streaming整合原创 2019-01-28 16:06:43 · 299 阅读 · 0 评论 -
Spark Streaming 算子:reduceByKeyAndWindow
窗口时间长度窗口滑动时间长度批处理时间长度的设置原创 2019-01-28 17:32:34 · 440 阅读 · 0 评论 -
Spak Streaming算子:checkpoint
Spark Streaming 算子 checkpoint的产生背景使用场景原创 2019-01-28 17:55:44 · 246 阅读 · 0 评论 -
Spark Streaming算子:transform
Spark Streaming 算子 transform的产生背景使用场景原创 2019-02-06 10:31:16 · 887 阅读 · 0 评论 -
Spark Streaming算子:foreachRDD(func)
Spark Streaming算子:foreachRDD(func)原创 2019-02-07 16:14:48 · 521 阅读 · 0 评论 -
spark streaming、kafka 内存调优、分区调优
spark Streaming 限速spark.streaming.kafka.maxRatePerPartition而在Direct Approach,则是通过参数 spark.streaming.kafka.maxRatePerPartition 来配置的。这里需要注意的是,这里是对每个Partition进行限速。所以你需要事先知道Kafka有多少个分区,才好评估系统的实际吞吐量,从而...原创 2019-04-08 16:30:50 · 3314 阅读 · 0 评论