Flink项目最佳实践（二）：第一个实时模拟ETL任务

最新推荐文章于 2024-04-27 23:04:42 发布

fencex

最新推荐文章于 2024-04-27 23:04:42 发布

阅读量667

点赞数

分类专栏： # 大数据学习指北 - Flink 文章标签： hadoop flink 大数据

本文链接：https://blog.csdn.net/xzx0524/article/details/103900230

版权

本文介绍了如何使用Flink实现从socket读取数据并实时写入本地目录的ETL任务，通过模拟数据流展示了Flink在实时处理中的应用。代码示例包括添加依赖、运行socket server和查看结果。后续将探讨更多落地项目中的考虑因素，如Kafka消费、HDFS写入等。

摘要由CSDN通过智能技术生成

文章目录

一、前情提要

上一篇中颗粒fencex讲到，Flink项目的初始化，主要介绍了，项目创建，依赖管理和工程配置管理。
详见：Flink项目最佳实践（一）：初始化项目

本文讲解如何实现一个「从 socket 读取数据，实时写入到本地目录」，模拟实时 ETL 。
比起经典的 WordCount，这段代码更具有落地参考性。

二、本文目标

终端输入模拟实时数据流
数据落入本地文件夹，以当前日期为子文件夹

三、主要代码块

具体项目见参考：

package org.demo.flink.etl

import java.time.ZoneId

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.fs.bucketing.{
   BucketingSink, DateTimeBucketer}

object LogETL {
   
    def main(args: Array[String]) {
   
        val env = Stream