flink 实现 dau 去重，2024年冲刺年薪40w

最新推荐文章于 2024-04-15 03:28:42 发布

2401_84164469

最新推荐文章于 2024-04-15 03:28:42 发布

阅读量568

点赞数 7

分类专栏： 2024年程序员学习文章标签： flink 大数据

本文链接：https://blog.csdn.net/2401_84164469/article/details/137486342

版权

2024年程序员学习专栏收录该内容

116 篇文章 0 订阅

订阅专栏

object DauFirstInfo{
def main(args: Array[String]):Unit = {
// 定义环境变量，创建消费环境配置
val testDauGroupId = “test_daufirstinfo_20240303”
val source_kafka_host = ConfigHelper.getBootStrapServers(Config.TEST_SOURCE_KAFKA,Region.TEST_CLUSTER.getName())
val testTopicProprties:Properties = KafkaConnector.createConsumerProperties(source_kafka_host,testDauGroupId)
val testConsumer = KafkaConnector.createStringSource(Config.TEST_SOURCE_KAFKA,testTopicProprties)
val env:StreamExecutionEnvironment = StreamingUtils.getStreamExecutionment

env.getCheckpointConfig.setMaxConcurrentCheckpoints(1)
val dataStream = env
.addSource(testConsumer).uid(“xxx”).name(“xxx”)
// 筛选出有设备 id + 启动时间的日志（有效日志）
.flatMap(new RichFlatMapFunction[String,String]){
override def flatMap(in:String,collector:Collector[String]): Unit = {
val sourceObject: JsonObject = new JsonParser().parse(in).getJsonObject()
if(StringUnits.isNotBlank(sourceObject.get(“shebei_id”).getAsString) && sourceObject.get(“qidong_timestamp”).getAsLong){
collector.collect(in)
}
}
}).uid(“map_valid_info”).name(“map_valid_info”)
//找出标识 dau 的key：设备id+当天日期
.keyBy(new KeySelector[String,String]{
override def getKey(value:String):String = {
val sourceObject: JsonObject = new JsonParser().parse(in).getJsonObject()
sourceObject.get(“sheibei_id”).getAsString + DateFormatUtils.format(sourceObject.get(“qidong_timestamp”).getAsLong,“yyyy-MM-dd”)
}
})
//将 key 存在状态里面，进行判断
.flatMap(new FirstNotBlankDauProcess()).uid(“first_dau_state”).name(“first_dau_state”)
//设置处理的并发度
.setMaxParallelism(100)
//设置产出的环境变量
val sink_kafka_host:String = Confighelper.getBootstrapServers(CommonConfig.TEST_SINK_KAFKA,Region.TEST_CLUSTER.getName())
val props: Properties = new Properties()
props.put(“bootstrap.servers”,sink_kafka_host)
props.put(“request.timeout.ms”,200000)
val kafkaProducer: FlinkKafkaProducer[String] = kafkaConnector.createStringSink(Commonfig.TEST_SINK_KAFKA,props)
dataStream.addSink(kafkaProducer).uid(“sink_id”).name(“sink_name”).setParallelism(30)
env.execute(“ValidDauJob”)
}
}

// 状态变量去重逻辑
class FirstNotBlankDauProcess extends RichFlatMapFunction[String,String]{
var clientState : ValueState[Integer] = _
override def open(parameters: Configuration): Unit = {

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。