物流实时数仓ODS层——Mysql到Kafka

已于 2024-01-24 00:21:48 修改
阅读量745 收藏 11
点赞数 10
分类专栏： # 实时数仓项目 文章标签： 大数据 数据仓库 flink kafka
于 2023-11-30 08:28:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/134701841
版权

目录

1.采集流程

2.项目架构

3.resources目录下的log4j.properties文件

4.依赖

5.ODS层——OdsApp

6.环境入口类——CreateEnvUtil

7.kafka工具类——KafkaUtil

8.启动集群项目

        这一层要从Mysql读取数据，分为事实数据和维度数据，将不同类型的数据进行不同的ETL处理，发送到kakfa中。

代码

1.采集流程

2.项目基本架构

3.resources目录下的log4j.properties文件

log4j.rootLogger=error,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

4.依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu.tms.realtime</groupId>
    <artifactId>tms-realtime</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <java.version>1.8</java.version>
        <flink.version>1.17.0</flink.version>
        <hadoop.version>3.3.4</hadoop.version>
        <flink-cdc.version>2.3.0</flink-cdc.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.68</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-reload4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.14.0</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>${flink-cdc.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-loader</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.4.11</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-reload4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.20</version>
        </dependency>

        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>3.3.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc</artifactId>
            <version>3.1.0-1.17</version>
        </dependency>

        <dependency>
            <groupId>ru.yandex.clickhouse</groupId>
            <artifactId>clickhouse-jdbc</artifactId>
            <version>0.3.2</version>
            <exclusions>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>jackson-databind</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>jackson-core</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>


    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.1.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                                <excludes>
                                    <exclude>com.google.code.findbugs:jsr305</exclude>
                                    <exclude>org.slf4j:*</exclude>
                                    <exclude>log4j:*</exclude>
                                    <exclude>org.apache.hadoop:*</exclude>
                                </excludes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <!-- Do not copy the signatures in the META-INF folder.Otherwise, this might cause SecurityExceptions when using the JAR. -->
                                    <!-- 打包时不复制META-INF下的签名文件，避免报非法签名文件的SecurityExceptions异常-->
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>

                            <transformers combine.children="append">
                                <!-- The service transformer is needed to merge META-INF/services files -->
                                <!-- connector和format依赖的工厂类打包时会相互覆盖，需要使用ServicesResourceTransformer解决-->
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

5.ODS层——OdsApp

package com.atguigu.tms.realtime.app.ods;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.tms.realtime.utils.CreateEnvUtil;
import com.atguigu.tms.realtime.utils.KafkaUtil;
import com.esotericsoftware.minlog.Log;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.connector.base.DeliveryGuarantee;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;

/**
 * ODS数据的采集
 */
public class OdsApp {
    public static void main(String[] args) throws Exception {
        // TODO 1.获取流处理环境并指定检查点
        StreamExecutionEnvironment env = CreateEnvUtil.getStreamEnv(args);
        env.setParallelism(4);

        // TODO 2.使用FlinkCDC从Mysql中读取数据-事实数据-保存到kafka
        String dwdOption = "dwd";
        String dwdServerId = "6030";
        String dwdSourceName = "ods_app_dwd_source";
        mysqlToKafka(dwdOption, dwdServerId, dwdSourceName, env, args);

        // TODO 3.使用FlinkCDC从Mysql中读取数据-维度数据-保存到kafka
        String realtimeOption = "realtime_dim";
        String realtimeServerId = "6040";
        String realtimeSourceName = "ods_app_realtimeDim_source";
        mysqlToKafka(realtimeOption, realtimeServerId, realtimeSourceName, env, args);

        env.execute();
    }

    public static void mysqlToKafka(String option, String serverId, String sourceName, StreamExecutionEnvironment env, String[] args) {
        // TODO 1.使用FlinkCDC从Mysql中读取数据
        MySqlSource<String> mysqlSource = CreateEnvUtil.getMysqlSource(option, serverId, args);

        SingleOutputStreamOperator<String> strDS = env.fromSource(mysqlSource, WatermarkStrategy.noWatermarks(), sourceName)
                .setParallelism(1)// 并行度设置为1的原因是防止乱序
                .uid(option + sourceName);

        // TODO 2.简单的ETL
        SingleOutputStreamOperator<String> processDS = strDS.process(new ProcessFunction<String, String>() {
            @Override
            public void processElement(String jsonStr, ProcessFunction<String, String>.Context ctx, Collector<String> out) throws Exception {
                try {
                    // 将json字符串转为json对象
                    JSONObject jsonObj = JSON.parseObject(jsonStr);
                    // after属性不为空，并且不是删除
                    if (jsonObj.getJSONObject("after") != null && !"d".equals(jsonObj.getString("op"))) {
                        // 为了防止歧义，将ts_ms字段改为ts
                        Long tsMs = jsonObj.getLong("ts_ms");
                        jsonObj.put("ts", tsMs);
                        jsonObj.remove("ts_ms");// 移除原来的ts_ms字段
                        // 符合条件以后，向下传递之前先将json对象转为json字符串
                        out.collect(jsonObj.toJSONString());
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                    Log.error("从Flink-CDC得到的数据不是一个标准的json格式");
                }

            }
        }).setParallelism(1);// 防止乱序

        // TODO 3.按照主键进行分许，避免出现乱序，主键就是after下的id字段
        KeyedStream<String, String> keyedDS = processDS.keyBy(new KeySelector<String, String>() {
            @Override
            public String getKey(String jsonStr) throws Exception {
                // 获取当前的key
                // 流中的字符串转为json对象
                JSONObject jsonObj = JSON.parseObject(jsonStr);
                return jsonObj.getJSONObject("after").getString("id");
            }
        });

        //  TODO 4.将数据写到kafka主题中
                keyedDS.sinkTo(KafkaUtil.getKafkaSink("tms_ods", sourceName + "_transPre", args))
                .uid(option + "_ods_app_sink");
    }
}

6.环境入口类——CreateEnvUtil

package com.atguigu.tms.realtime.utils;

import com.esotericsoftware.minlog.Log;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.connectors.mysql.source.MySqlSourceBuilder;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet;
import org.apache.kafka.connect.json.DecimalFormat;
import org.apache.kafka.connect.json.JsonConverterConfig;

import java.util.HashMap;

/**
 * 获取执行环境
 * flinkCDC读取mysqlSource的原因是将自己伪装成从机
 */
public class CreateEnvUtil {
    //获取流处理环境
    public static StreamExecutionEnvironment getStreamEnv(String[] args) {
        //TODO 1.基本环境准备
        //1.1 指定流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //TODO 2.检查点相关的设置
        //2.1 开启检查点
        env.enableCheckpointing(60000L, CheckpointingMode.EXACTLY_ONCE);
        //2.2 设置检查点的超时时间
        env.getCheckpointConfig().setCheckpointTimeout(120000L);
        //2.3 设置job取消之后 检查点是否保留
        env.getCheckpointConfig().setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        //2.4 设置两个检查点之间的最小时间间隔
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(30000L);
        //2.5 设置重启策略
        env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.days(1), Time.seconds(3)));
        //2.6 设置状态后端
        env.setStateBackend(new HashMapStateBackend());
        env.getCheckpointConfig().setCheckpointStorage("hdfs://hadoop102:8020/tms/ck");
        //2.7 设置操作hdfs的用户
        //获取命令行参数
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        String hdfsUserName = parameterTool.get("hadoop-user-name", "atguigu");
        System.setProperty("HADOOP_USER_NAME", hdfsUserName);
        return env;
    }

    //获取MySqlSource
    public static MySqlSource<String> getMysqlSource(String option, String serverId, String[] args) {
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        String mysqlHostname = parameterTool.get("mysql-hostname", "hadoop102");
        int mysqlPort = Integer.valueOf(parameterTool.get("mysql-port", "3306"));
        String mysqlUsername = parameterTool.get("mysql-username", "root");
        String mysqlPasswd = parameterTool.get("mysql-passwd", "root");
        option = parameterTool.get("start-up-options", option);
        // serverId是对服务器节点进行标记
        serverId = parameterTool.get("server-id", serverId);

        // 创建配置信息 Map 集合，将 Decimal 数据类型的解析格式配置 k-v 置于其中
        HashMap config = new HashMap<>();
        config.put(JsonConverterConfig.DECIMAL_FORMAT_CONFIG, DecimalFormat.NUMERIC.name());
        // 将前述 Map 集合中的配置信息传递给 JSON 解析 Schema，该 Schema 将用于 MysqlSource 的初始化
        JsonDebeziumDeserializationSchema jsonDebeziumDeserializationSchema =
                new JsonDebeziumDeserializationSchema(false, config);

        MySqlSourceBuilder<String> builder = MySqlSource.<String>builder()
                .hostname(mysqlHostname)
                .port(mysqlPort)
                .username(mysqlUsername)
                .password(mysqlPasswd)
                .deserializer(jsonDebeziumDeserializationSchema);

        // 读取的数据可能是维度或事实，需要通过标记来区分，从而对不同类型的数据进不同的处理
        switch (option) {
            // 读取事实数据
            case "dwd":
                String[] dwdTables = new String[]{
                        "tms.order_info",
                        "tms.order_cargo",
                        "tms.transport_task",
                        "tms.order_org_bound"};// 只读取这4个事实表
                return builder
                        .databaseList("tms")
                        .tableList(dwdTables)
                        .startupOptions(StartupOptions.latest())// 表示从mysql的binlog最新位置读取最新的数据
                        .serverId(serverId)
                        .build();
            // 读取维度数据
            case "realtime_dim":
                String[] realtimeDimTables = new String[]{
                        "tms.user_info",
                        "tms.user_address",
                        "tms.base_complex",
                        "tms.base_dic",
                        "tms.base_region_info",
                        "tms.base_organ",
                        "tms.express_courier",
                        "tms.express_courier_complex",
                        "tms.employee_info",
                        "tms.line_base_shift",
                        "tms.line_base_info",
                        "tms.truck_driver",
                        "tms.truck_info",
                        "tms.truck_model",
                        "tms.truck_team"};// 读取维度数据表15张
                return builder
                        .databaseList("tms")
                        .tableList(realtimeDimTables)
                        .startupOptions(StartupOptions.initial())// 表示在第一次启动时对监控的数据库表执行初始快照，并继续读取最新的binlog。
                        .serverId(serverId)
                        .build();
            case "config_dim":
                return builder
                        .databaseList("tms_config")
                        .tableList("tms_config.tms_config_dim")
                        .startupOptions(StartupOptions.initial())
                        .serverId(serverId)
                        .build();
        }

        Log.error("不支持的操作类型！");
        return null;
    }
}

7.kafka工具类——KafkaUtil

package com.atguigu.tms.realtime.utils;

import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.connector.base.DeliveryGuarantee;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.kafka.clients.consumer.OffsetResetStrategy;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.io.IOException;

/**
 * 操作Kafka的工具类
 */
public class KafkaUtil {
    private static final String KAFKA_SERVER = "hadoop102:9092,hadoop103:9092,hadoop104:9092";

    // 获取kafkaSink的方法                                       事务id的前缀
    public static KafkaSink<String> getKafkaSink(String topic, String transIdPrefix, String[] args) {
        // 使用args参数的原因是为了从外部获取参数。在Java中，args是一个命令行参数数组，当你在命令行中运行Java程序时，你可以通过在命令行中输入参数来传递数据给程序。
        // 将命令行参数对象封装为 ParameterTool 类对象
        ParameterTool parameterTool = ParameterTool.fromArgs(args);

        // 提取命令行传入的 key 为 topic 的配置信息，并将默认值指定为方法参数 topic
        // 当命令行没有指定 topic 时，会采用默认值
        topic = parameterTool.get("topic", topic);
        // 如果命令行没有指定主题名称且默认值为 null 则抛出异常
        if (topic == null) {
            throw new IllegalArgumentException("主题名不可为空：命令行传参为空且没有默认值!");
        }

        // 获取命令行传入的 key 为 bootstrap-servers 的配置信息，并指定默认值
        String bootstrapServers = parameterTool.get("bootstrap-severs", KAFKA_SERVER);
        // 获取命令行传入的 key 为 transaction-timeout 的配置信息，并指定默认值
        String transactionTimeout = parameterTool.get("transaction-timeout", 15 * 60 * 1000 + "");

        KafkaSink<String> kafkaSink = KafkaSink.<String>builder()
                .setBootstrapServers(bootstrapServers)
                .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                        .setTopic(topic)
                        .setValueSerializationSchema(new SimpleStringSchema())
                        .build()
                )
                .setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
                .setTransactionalIdPrefix(transIdPrefix)
                .setProperty(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG, transactionTimeout)
                .build();
        return kafkaSink;
    }

    // 使用这个就只需要传入topic和args即可
    public static KafkaSink<String> getKafkaSink(String topic, String[] args) {
        return getKafkaSink(topic, topic + "_trans", args);
    }
}

8.启动集群项目

开启消费者，然后启动java项目即可

雷神乐乐
关注
  • 10
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实时数仓-mysql业务数据采集到kafka的ODS层(Canal+Protobuf+Kafka)
weixin_43861104的博客
01-13 1223
1.简介 本篇使用Cnal监控mysql中binglog日志的变化，解析二进制日志为map类型的数据，并引入Protobuf实现对象的序列化，写入到kafka，生成实时数仓ODS层的原始数据。 2.代码实现 2.1项目的入口 package com.bigdata.app; import com.bigdata.client.CanalClient; /** * @ description: 项目启动类 * @ author: spencer * @ date: 2021/1/12 13:41
基于Flink+Hive+Kafka的流批一体数仓实践--03kafka_sink_kafka_ods
GabrielCP的博客
01-06 541
准备工作：搭建Hadoop、kafka、zk集群等（略）。 脚本启动集群后，开启kafka主题消费： bin/kafka-console-consumer.sh --bootstrap-server hadoop002:9092 --from-beginning --topic GoodmeODS_orderMaster kafka_sink_kafka_ods代码如下： import java.time.Duration import org.apache.flink.streaming.api.{C
美团点评基于Flink的实时数仓建设实践
01-27
近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用Flink在实际数据生产上的经验。在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署 Storm作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。
《OD大数据实战》Kafka入门实例
weixin_30404405的博客
08-09 69
官网： 参考文档： Kafka入门经典教程 Kafka工作原理详解 一、安装zookeeper 1. 下载zookeeper-3.4.5-cdh5.3.6.tar.gz 下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压到/opt/modules/cdh目录 tar -zxvf zookeeper-3.4.5-c...
30-kafka流入到数仓时，通常流入到哪一层？ODS ？然后在 DWD 去重？
huaxing_ba的博客
03-26 313
kafka流入到数仓时，通常流入到哪一层？ODS ？然后在 DWD 去重？
实时数仓（二）业务数据库到ods(kafka)
qq_44665283的博客
03-24 2037
利用flink cdc将业务数据库到ods(kafka) （1）主要代码 package com.yyds.app.ods; import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource; import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions; import com.alibaba.ververica.cdc.debezium.DebeziumSourceF
Flink实时数仓课程（艺人直播项目）
10-12
一个完整的实时数仓通常包括实时接入层、实时转化层、实时ODS层、实时DW层以及实时BI层。在Flink的支持下，我们可以快速构建这些层次，确保数据的实时流动和高效处理。同时，课程也会涉及如何设计合理的数据模型，如...
基于 Flink 的实时数仓建设实践.pdf
06-19
美团采用的“一路到底”的开发模式，即通过在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。...
基于 Flink 的滴滴实时数仓实践.pdf
06-19
滴滴的实时数仓体系架构包括数据源、ODS层、DW（Data Warehouse）层和APP层。计算引擎是其中的关键部分，它支持多流join、开窗汇总等复杂操作。同时，滴滴采用了分布式计算框架，如Flink，以及定制的YARN调度器，...
Spark离线数仓Flink实时数仓项目源码+部署资料.rar
03-10
实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入) ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理 DIM:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键...
数据仓库(DW)与操作型数据存储(ODS)
12-24
在操作型数据库(事务型数据库.一般采用结构化数据库)和数据仓库架构盛行的时代,面向服务的架构(soa)需要实时的BI,操作型数据仓库是一个好的选择
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
m0_47139992的博客
11-27 1452
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
实时数仓分层介绍
延宝小白马的博客
12-06 1627
ODS: 原始数据，日志和业务数据。可通过Kafka进行收集。DWD: 根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM: 维度数据。可存储在HBase中。DWM: 对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS: 根据某个主题将多个事实数据轻度聚合，形成主题宽表。 可存储在Doris、ClickHouse、Elasticsearch中。DM/ADS: 把Doris/ClickHouse中的数据根据可视化需进行筛
MySQL 到 Kafka 实时数据同步实操分享，面试一路绿灯Offer拿到手软
最新发布
m0_60635321的博客
03-28 397
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Kafka。2.在打开的连接信息配置页面依次输入需要的配置信息，配置完成后测试连接保存即可。
kafka入门：简介、使用场景、设计原理、主要配置
YellowOne的博客
04-16 212
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建标题问题导读：一、入门二、使用场景三、设计原理四、主要配置 参考链接 标题问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门...
二百零三、Flume——Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下
tiantang2renjian的博客
11-15 837
Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下
大数据之使用Flink消费Kafka中topic为ods_mall_data的数据，根据数据中不同的表将数据分别分发至kafka的DWD层
Eternity.Arrebol的博客
05-07 5090
将本题的难度解决好，总结一下Flink版本的特点，因为Flink到目前能够普及下来的并不成熟，网上的方法教程也很少，并不像Spark那样。综上，本题需要较全面的Kafka和Flink技能，并具备一定的编程能力和调试经验，因此可能对初学者而言会有一定难度。动态表格功能支持：Flink 1.14引入了动态表格功能，可以在不修改代码的情况下对流和批处理程序进行修改，使得它们可以支持更加灵活的工作负载。集成Kettle：Flink 1.14集成了Kettle，可以通过使用Kettle插件来实现ETL工作。
Flink实时数仓项目—ODS层日志数据到DWD层
yunweijie_cn的博客
04-12 1283
Flink实时数仓项目—ODS层日志数据到DWD层前言一、日志数据需要做的处理1.识别新老用户2.日志数据的处理3.发送数据到Kafka二、功能实现1.读取Kafka数据并转换数据格式2.识别新老用户3.日志数据分流4.分流后的数据写入Kafka对应主题 前言 前面已经将日志数据和业务数据采集到了Kafka中，Kafka中的ods_xx主题就作为了实时数仓的ODS层。 行为日志分为三类，页面日志、启动日志和曝光日志，这三类日志的格式不一样，我们需要分别进行处理，然后将处理完的数据再写入到Kafka中，作为

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值