- 博客(75)
- 收藏
- 关注
RSS订阅原创 flink车联网项目前篇：建模设计（第65天）
本文主要详解了维度建模和flink车联网项目的建模设计。由于篇幅过长，后续章节：数据开发。
2024-08-14 12:10:36
2122
28
原创 Flink-DataWorks第五部分：数据开发（第61天）
本文主要详解了DataWorks的数据开发（后续），为第五部分：由于篇幅过长，分章节进行发布。后续： 数据运维
2024-08-10 07:15:00
1647
31
原创 Flink-DataWorks第四部分：数据同步（第60天）
本文主要详解了DataWorks的数据同步，为第四部分：由于篇幅过长，分章节进行发布。后续： 数据开发。
2024-08-09 07:15:00
3419
48
原创 Flink-DataWorks第三部分：数据集成（第59天）
本文主要详解了DataWorks的数据开发流程及操作，为第三部分：由于篇幅过长，分章节进行发布。后续： 运维中心的使用。
2024-08-08 07:09:12
2420
46
原创 Flink-DataWorks第二部分：数据集成（第58天）
本文主要详解了DataWorks的数据集成，为第二部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用。
2024-08-07 07:15:00
2637
51
原创 Flink-DataWorks第一部分：DataWorks（第57天）
本文主要详解了DataWorks基本功能，为第一部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用
2024-08-06 07:15:00
3338
77
原创 Flink-StarRocks详解:第六部分-即席查询大案例解析(第56天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks数仓场景：即席查询大案例
2024-08-05 07:15:00
1722
47
原创 Flink-StarRocks详解:第五部分查询数据湖(第55天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks查询数据湖由于篇幅过长，后续接着下面进行详解：数仓场景：即席查询大案例
2024-08-04 07:15:00
3552
76
原创 Flink-StarRocks详解:第四部分StarRocks分区管理，数据压缩(第54天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks分区分桶管理，数据压缩，由于篇幅过长，后续接着下面进行详解： StarRocks查询数据湖 实现即席查询案例。
2024-08-03 08:03:38
3088
69
原创 Flink-StarRocks详解:第三部分StarRocks分区分桶(第53天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks分区分桶由于篇幅过长，后续接着下面进行详解： StarRocks查询数据湖 实现即席查询案例需要显式列出每个 List 分区所包含的枚举值列表，并且值不需要连续，区别于包含连续日期或者数值范围的 Range 分区。当新数据导入表中时，StarRocks 会根据数据的分区列值与分区的映射关系将数据分配到相应的分区中。List 分区适用于存储具有少量枚举值列的数据、并且经常按列的枚举值来查询和管理数据的场景。
2024-08-02 07:15:00
2019
47
原创 Flink-StarRocks详解:第二部分(第52天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks表设计，聚合，更新，主键三大数据模型。由于篇幅过长，后续接着下面进行详解： StarRocks分区分桶 StarRocks查询数据湖 实现即席查询案例。
2024-08-01 07:15:00
3577
95
原创 Flink-StarRocks详解:第一部分(第51天)
本文主要详解StarRocks系统架构，适用场景，产品特性。StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。
2024-07-31 07:15:00
1691
59
原创 大数据开发高频面试题：（第50天）
本文总结了大数据开发常规高频面试题。后面会出，系列面试题，涉及到hive,spark离线数仓，实时flink以及kafka,es,等技术栈专项面试题。
2024-07-30 07:15:00
1214
22
原创 Flink-窗口详解:(第44天)
Apache Flink的窗口机制是处理实时流数据的关键功能之一，它允许开发者将数据流切分成有限的“块”（或称为“窗口”），并在这些块上执行计算。本文对Flink窗口机制的详细解析，并结合具体例子进行分析。
2024-07-23 07:15:00
1506
25
原创 MYSQL调优详解：案例解析（第40天）
MySQL的优化是一个涉及多个层面的复杂过程，主要包括数据库设计优化、查询优化、架构优化等。本文通过案例方式详解关键的MySQL优化策略。
2024-07-19 09:41:12
1891
64
原创 Flink-Watermark机制详解：(第39天)
Watermark机制，在Apache Flink这样的流处理框架中，扮演着至关重要的角色，特别是在处理事件时间（Event Time）窗口时，它能够有效解决数据乱序和延迟到达的问题，本文对Watermark机制的详细解析，涵盖其定义、原理、应用场景、核心算法以及优化策
2024-07-19 07:15:00
1943
35
原创 数仓建模详解：电商案例解析（第38天）
数仓建模过程是一个复杂但系统化的工作，它涉及多个步骤，从需求分析到数据仓库的设计、构建和维护。本文我将结合实例详细解释数仓建模过程。
2024-07-18 07:15:00
1680
55
原创 Flink底层原理解析：案例解析（第37天）
Apache Flink 是一个开源的流处理框架，用于处理无界和有界数据流。其底层原理复杂而精细，涉及到数据流模型、任务调度与执行、内存管理、容错机制等多个方面。本文是对 Flink 底层原理的详细分析，并通过举例来说明这些原理。
2024-07-17 17:29:26
4048
76
原创 Hadoop数仓中常用端口详解:(第36天)
在数仓（数据仓库）开发中，不同的组件和服务会使用不同的端口号进行通信。由于数仓的实现可能依赖于多种技术和框架（如Hadoop、Hive、HBase、Spark等），因此涉及的端口号也会有所不同。以下是一些数仓开发中常用端口号及其作用的概述，以及相关的操作指令建议。常用端口号及其作用。
2024-07-15 07:15:00
2855
61
原创 Spark调度底层执行原理详解（第35天）
Spark调度底层执行原理是一个复杂而精细的过程，它涉及到多个组件的交互和协同工作，以实现大数据处理的高效性和灵活性。本文主要对Spark调度底层执行原理进行详细解析。
2024-07-14 07:15:00
2318
50
原创 Spark底层原理：案例解析（第34天）
Apache Spark是一个快速、通用、基于内存的分布式计算引擎，专为大规模数据处理而设计。其架构设计体现了高度的模块化和可扩展性，支持多种数据处理模式，包括批处理、实时流处理、交互式查询、机器学习和图计算等。以下将详细介绍Spark的架构设计，并结合具体例子进行分析。
2024-07-13 08:12:13
3132
55
原创 MapReduce底层原理详解：大案例解析（第32天）
MapReduce（简称MR）是Hadoop框架中的一个核心组件，它主要用于大规模数据集的并行处理。MapReduce的底层原理涉及数据的分片、Map阶段的处理、Shuffle过程以及Reduce阶段的处理等多个环节。本文通过案例解析方式对MR底层原理进行详细解析
2024-07-11 07:15:00
1694
55
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人