【实战】Flink实现统计每个小时的各类日志条数

Flink实现统计每个小时的各类日志条数

import java.text.SimpleDateFormat
import java.util.{Date, Properties}
import org.apache.flink.api.scala._
import com.google.gson.{JsonObject, JsonParser}
import com.iflytekzunhong.util.RedisPoolUtil
import org.apache.flink.api.common.functions.{AggregateFunction, ReduceFunction}
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}
import org.apache.flink.api.scala.typeutils.Types
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala.function.WindowFunction
import org.apache.flink.streaming.api.windowing.assigners.{TumblingEventTimeWindows, TumblingProcessingTimeWindows}
import org.apache.flink.streaming.api.windowing.evictors.TimeEvictor
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.streaming.api.windowing.triggers.{ContinuousEventTimeTrigger, Trigger, TriggerResult}
import org.apache.flink.streaming.api.windowing.windows.TimeWindow
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010
import org.apache.flink.util.Collector
import org.apache.log4j.{Level, Logger}



object FlinkDemand3 {
  Logger.getLogger("org").setLevel(Level.ERROR)
  var logs = ""

  case cl
  • 4
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
的订单数量和订单金额,该如何实现? 您可以使用Flink的DataStream API来解决这个问题。以下是实现的步骤: 1. 从 Kafka 或其他数据源中读取订单数据流。 2. 使用 Flink 的 flatMap() 函数将订单数据流转换为键值对流,其中键是区域 ID,值是订单数量和订单金额。 3. 使用 Flink 的 keyBy() 函数将键值对流按区域 ID 进行分区。 4. 使用 Flink 的 reduce() 函数对每个区域的订单数量和订单金额进行累加。 5. 将结果输出到外部系统或存储介质中。 以下是示例代码: ``` DataStream<Order> orderStream = env.addSource(new FlinkKafkaConsumer<>("order-topic", new OrderDeserializer(), properties)); DataStream<Tuple2<String, Tuple2<Integer, Double>>> regionStatsStream = orderStream .flatMap((Order order, Collector<Tuple2<String, Tuple2<Integer, Double>>> out) -> { String regionId = order.getRegionId(); Integer orderCount = 1; Double orderAmount = order.getAmount(); out.collect(new Tuple2<>(regionId, new Tuple2<>(orderCount, orderAmount))); }) .keyBy(0) .reduce((Tuple2<String, Tuple2<Integer, Double>> left, Tuple2<String, Tuple2<Integer, Double>> right) -> { Integer orderCount = left.f1.f0 + right.f1.f0; Double orderAmount = left.f1.f1 + right.f1.f1; return new Tuple2<>(left.f0, new Tuple2<>(orderCount, orderAmount)); }); regionStatsStream.print(); ``` 在上面的代码中,我们首先使用 flatMap() 函数将订单数据流转换为键值对流。然后使用 keyBy() 函数将流按区域 ID 进行分区,接着使用 reduce() 函数对每个区域的订单数量和订单金额进行累加。最后,我们将结果输出到控制台上。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值