- 博客(1022)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【Spark】-- DAG 和宽窄依赖的核心
DAG，全称 Directed Acyclic Graph（有向无环图），在 Spark 中用于表示 RDD（弹性分布式数据集）之间的依赖关系。每个节点代表一个 RDD，边表示 RDD 之间的转换操作。Spark 通过构建 DAG 来规划任务的执行路径，从而实现高效的任务调度和容错机制。DAG 和宽窄依赖是 Spark 的核心概念，直接影响任务的执行效率和性能优化策略。通过理解和合理利用这两个概念，可以有效地优化 Spark 程序的执行性能。
2025-05-16 09:30:16
224
原创 【架构】-- StarRocks 和 Doris 介绍与选型建议
查询性能 | ✅ 高性能，支持向量化执行和 CBO 优化器 | ✅ 高性能，优化的查询引擎 |- **实时性要求高**：如果业务对数据的实时性要求较高，建议选择 **StarRocks**，其在实时数据处理和低延迟查询方面表现优越。- **复杂查询需求**：对于需要处理复杂多表关联查询的场景，两者均可胜任，需根据具体性能测试结果进行选择。
2025-04-21 16:50:54
374
原创 【DeepSeek】-- 常用润色指令
指令：请在不改变原文意思的基础上，对以下文章进行扩写。要求如下：1.围绕文章主题，供更丰富的信息和观点。2.引人相关案例或数据支持文中论点，增强说服力。3.结构清晰、逻辑连贯，易于读者理解。
2025-04-17 11:04:35
473
原创 【生活】-- 微信小程序和传统APP的优缺点对比
小程序 ✅ 无需下载安装：即用即走，节省手机存储空间。 ✅ 跨平台兼容：iOS和Android均可使用，无需单独适配。 ❌ 功能受限：受限于微信框架，无法实现复杂功能（如大型游戏、高性能计算）。 ❌ 用户留存低：次日留存约13%，双周留存仅1%。APP ✅ 功能强大：可开发复杂应用（如视频编辑、3D游戏）。 ✅ 个性化体验：UI设计更灵活，交互更流畅。 ❌ 安装门槛高：需下载，占用存储空间，用户可能因流量或存储问题放弃。小程序 ✅ 开发成本低：周期短（约2周），适合初创团队。 ✅ 云开发支
2025-04-16 11:01:17
361
原创 【Apache Paimon】-- flink job 并行度个数决定 bucket 个数
如果不需要对 Paimon表进行即席（OLAP）查询，只需进行批式或流式消费，可以选择配置以下表参数，将数据文件格式改为avro，并关闭采集统计数据，以进一步提高写入作业的效率。，允许至多3个检查点同时进行，主要用于减小部分并发检查点长尾的影响。1、适当减小 sink.parallelism。3、将小文件合并改为完全异步。
2025-04-10 11:05:25
166
原创 【Java 基础】-- 深入剖析 Java HashMap 中的红黑树
节点颜色：每个节点要么是红色，要么是黑色。根节点：根节点是黑色。叶子节点：每个叶子节点（NIL）是黑色。红色节点限制：每个红色节点的两个子节点一定都是黑色。黑色节点平衡：从任一节点到其每个叶子节点的路径都包含数量相同的黑色节点。这些特性确保了红黑树的平衡性，使其在最坏情况下的查找、插入和删除操作的时间复杂度维持在 O(log n)。
2025-03-14 16:45:10
447
原创 【数据仓库】-- 原子和派生指标
转化率通过衡量完成目标的用户与所有访问用户的比例，帮助分析营销或用户体验的效果。客户留存率衡量了你保持现有客户的能力，帮助你了解客户忠诚度和产品或服务的持续吸引力。这些派生指标都基于原子指标的计算和组合，通过深入分析，能够提供更有价值的洞察，帮助优化营销策略、客户关系管理和整体业务运营。
2025-03-12 14:15:45
117
原创 【Java 基础】-- Java final 关键字详解
使用final关键字定义常量时，通常与static这样可以确保PI作为全局常量不可更改。
2025-03-12 11:27:47
532
原创 【Java 和 Scala】-- Java 与 Scala 的 Assert 断言对比
断言（Assertion）是一种用于在开发和测试阶段检查代码逻辑的机制。它通常用于验证程序的某些假设是否成立，若不成立，则会抛出错误或异常，以便开发者发现潜在的逻辑错误。在 Java 和 Scala 中，assert关键字用于进行断言检查，它通常只在调试或测试阶段启用，而不会影响生产环境的代码运行。
2025-03-12 10:42:10
980
原创 【Java 基础】-- 深入理解 Java 中的 java.util.Properties 及其打印方式
是 Java 提供的一个用于管理**键值对（key-value）**的类，主要用于存储配置参数，如数据库连接信息、国际化资源、应用程序设置等。它继承自，但通常只用于存储String类型的键值。
2025-03-06 11:39:32
481
原创 【Apache Paimon】-- 为什么会使用 apache arrow ？
Paimon 使用 Arrow 主要是为了提升数据处理性能、增强跨语言兼容性、更好地集成大数据生态系统，并利用 Arrow 的高性能计算和高效数据共享能力。
2025-03-04 14:50:48
219
原创 【Java 基础】-- 设计模式
Java 设计模式是提升代码质量的有力工具。掌握这些模式，可以在开发中编写出更加优雅、可维护的代码。建议通过实践不断加深理解，灵活运用设计模式解决实际问题！
2025-03-04 14:19:20
495
原创 【Java 基础】-- 访问控制修饰符详解
在 Java 中，访问控制修饰符（Access Modifiers）用于控制类、方法和变量的可访问性。合理使用这些修饰符可以提高代码的封装性、安全性和可维护性。privatedefault（无修饰符）、protected和public。
2025-03-04 11:41:46
607
原创 【Java 基础】-- Java static 关键字详解
本文通过详细的对比分析，希望能帮助你更好地理解。关键字表示“静态”，用于修饰成员变量、方法、代码块和内部类。其核心作用是让修饰的成员属于类本身，而不是类的实例。静态变量属于类本身，而不是某个具体的实例。无论创建多少个对象，静态变量在内存中都只有一份拷贝。关键字是 Java 中的一个重要概念，广泛应用于类的变量、方法、代码块和内部类。它只能访问静态成员，不能访问实例变量。的用法，不仅能优化代码结构，还能提高程序的性能。静态代码块在类加载时执行，通常用于初始化静态变量。的作用、使用场景、对比分析以及注意事项。
2025-02-28 16:49:35
616
原创 【Java 基础】-- Java 的三大特性：封装、继承和多态
理解并掌握这三大特性，可以帮助开发者编写出更清晰、模块化和高效的 Java 代码。如果你有任何问题或见解，欢迎留言讨论！这三大特性是 Java 代码可维护性、可扩展性和重用性的关键。本文将详细介绍这三大特性，并提供示例代码帮助理解。Java 作为一门面向对象的编程语言（OOP），其核心特性包括。，从而实现代码复用的机制。在 Java 中，封装通常通过。关键字访问父类的属性和方法。在 Java 中，继承通过。Java 的三大特性——是面向对象编程的核心。
2025-02-28 10:32:34
1030
原创 【Java 基础】-- Java 关键字 this 和 super 详解
是 Java 面向对象编程中非常重要的两个关键字。掌握它们的用法，可以帮助开发者更好地理解类的继承关系，提高代码的可读性和维护性。在实际开发中，合理使用。是两个常见的关键字，它们分别用于表示当前对象和父类对象。理解这两个关键字的用法对于掌握 Java 面向对象编程（OOP）至关重要。，可以避免变量冲突，增强代码的灵活性，使代码更具层次感。如果你有任何问题或更好的见解，欢迎留言交流！希望这篇文章能帮助你更好地理解。的作用及其常见应用场景。在 Java 编程中，
2025-02-28 10:28:22
356
原创 【Maven】-- Maven Scope 详解
Scope编译（Compile）测试（Test）运行（Runtime）典型使用场景compile（默认）✅✅✅普通依赖，如 Apache Commonsprovided✅✅❌运行环境提供的库，如runtime❌✅✅运行时才需要的库，如test❌✅❌测试框架，如 JUnitsystem✅✅✅本地 jar，如商业库（不推荐）import❌❌❌仅用于。
2025-02-26 15:32:44
1814
原创 【Maven】-- 使用 mvn spotless:apply 命令格式化代码
在 Java 开发中，代码风格统一至关重要，尤其是在团队协作中。spotless是一个流行的代码格式化工具，是 Maven 中用于自动格式化代码的命令。它可以帮助开发者统一代码风格，减少不必要的格式差异，提高代码可读性。Spotless 是一个支持多种语言的代码格式化工具，适用于 Java、Kotlin、Python、SQL 等语言。它可以与各种构建工具（如 Maven、Gradle）集成，实现自动格式化代码。代码格式化：自动调整代码格式，使其符合预定义的规则。删除多余的空格和换行。
2025-02-25 17:06:56
743
原创 【Java 基础】-- Java 接口中的 @Public 和 @FunctionalInterface 注解详解
在 Java 开发中，@Public和注解用于标识接口的特定用途和可访问性。@Public主要用于标识某些 API 或接口对外部用户是公开的，而则用于表明该接口是一个符合 Java 8 及以上版本的函数式接口。本篇文章将详细介绍这两个注解的作用、使用场景以及最佳实践。
2025-02-25 16:44:31
1232
原创 【Java 基础】-- 深入理解 Java 的 AutoCloseable 接口：资源管理的利器
是 Java 1.7 引入的一个接口，旨在帮助开发者更高效地管理资源，确保资源能够在不再使用时被正确释放。它通常与语法一起使用，以减少资源泄漏的风险。在 Java 之前的版本中，资源管理依赖于代码块，而使资源管理变得更加简洁和可靠。/**//*** @apiNote*//***/该接口只有一个方法close()，用于释放资源。方法声明允许抛出Exception，这意味着具体实现可以抛出更具体的异常，或者不抛出异常。
2025-02-25 16:31:42
975
原创 【生活】-- 下班后丰富生活的100种玩法
35、学习手工艺:如 DIY、编织、做珠宝等，动手提升自己。44、学一门新技术:如编程、数据分析等，提升自己的技术。50、参加社交活动:如聚会、酒吧或社交团体，认识新朋友。87、制作相册:整理生活中的照片，制作一个个性化的相册。11、参加搏击训练:如拳击、跆拳道等，锻炼身体又解压。27、参加脱口秀:去参加现场的脱口秀表演，放松又有趣。49、参加线上聚会:加入兴趣相投的社群，参加线上活动。57、和朋友一起做晚餐:一起尝试新菜谱，增加互动乐趣。64、做按摩:给自己做肩部、颈部的简单按摩，缓解压力。
2025-02-19 16:18:53
382
原创 【Apache Paimon】-- Flink 消费 kafka 数据异常
发现 Step1和 2 正常，但 Step 3 未配置。初次消费 kafka topic 数据时，需要配置 为 earliest 或者 latest。不能配置 NONE！Step.1 检查 kafka server 是否可用：telnet locahost:9092。配置 auto.offset.reset = earliest，再次启动即可！Step.3 检查 auto.offset.reset 是否有配置。Step.2 检查 kafka topic 是否存在。
2025-02-18 17:06:41
323
原创 【数据湖仓】：Iceberg、Hudi 和 Paimon 对比
适用于需要多计算引擎支持和复杂查询的离线批处理场景。其中立性和灵活性使其成为构建新型数据平台的理想选择。：在需要高频数据更新和高效小文件管理的场景中表现出色，适合实时数据处理和增量数据更新的业务需求。：专为实时流式数据处理设计，适用于对数据实时性要求高的业务场景，如实时数据分析和实时指标监控。通过以上分析，可以看出 Apache Iceberg、Apache Hudi 和 Apache Paimon 各有其独特的优势和适用场景。企业应根据自身业务需求和技术栈选择合适的数据湖仓方案，以充分发挥其价值。
2025-02-17 11:52:52
563
原创 【Apache Paimon】-- 16 -- 利用 paimon-flink-action 同步 kafka 数据到 hive paimon 表中
CDC（Change Data Capture）是一种用于捕获数据库变更的技术。它能够实时捕获数据库中的插入、更新和删除操作，并将这些变更数据传递给下游系统进行处理。
2025-02-12 15:22:45
406
转载 DeepSeek：从入门到精通
PDF 文章下载：https://download.csdn.net/download/high2011/90367183
2025-02-11 10:14:55
59
原创 【Apache Paimon】-- 作为一名小白，如何系统地学习 Apache paimon？
这些任务分阶段进行了详细拆解，从基础的安装、配置，到深入的性能优化、生产环境部署，再到进阶的扩展与社区贡献，涵盖了学习 Apache Paimon 的各个方面。建议可以按照这些任务逐步深入学习，逐步成为 Paimon 的专家。
2025-02-11 09:28:54
500
原创 【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式2.2、flink 运行依赖第三方包3.2、hive 3.1.3 集成 paimon 0.9.03.3、部署 flink 1.19.1 standalone 节点3.4、部署 postgresql3.4.1 安装3.4.2 配置新增3.4.3 启动4、启动环境4.1、启动 hive(1)mac os 环境下需要设置允许远程登录：设置 —> ssh remote logins:
2025-02-07 10:22:40
331
原创 【Java 基础】-- Integer.valueOf 和 Integer.parseInt 区别
如果你只需要整数值，并且不涉及对象操作，Integer.parseInt是首选。如果需要使用包装类（如需要支持null或用于集合等对象操作场景），可以选择 Integer.valueOf。
2025-01-16 15:46:28
616
原创 【Apache Paimon】-- 源码解读之 PaimonSparkSessionExtensions
是 Apache Spark 提供的一个配置参数，允许用户通过扩展 Spark 的 SQL 解析器、分析器、优化器和执行计划，来自定义 Spark SQL 的行为。的核心功能是通过扩展 Spark SQL 的各个阶段（解析、分析、优化、执行）来支持 Paimon 的特定功能和优化。，用户可以注册扩展类来修改或增强 Spark SQL 的功能，比如注入自定义解析规则、优化规则、计划策略等。，为 Spark SQL 注入了 Paimon 特定的语法、分析规则、优化器规则和执行策略。扩展的核心是通过实现。
2025-01-15 11:21:25
356
原创 【Apache Paimon】-- 源码解读之环境问题
确保 ANTLR 的语法文件正确生成了JavaParser和JavaLexer。确认 ANTLR 运行时依赖已包含在项目中。检查包路径是否一致。确认 IDE 和构建工具配置无误。
2025-01-14 11:33:31
436
原创 【对象存储】-- s3:\\、s3n:\\、s3a:\\ 简介
是访问 Amazon S3 的不同文件系统实现方式。在 Hadoop 和大数据处理领域，
2025-01-09 19:36:52
723
原创 【对象存储】-- OSS、S3、OBS 和 COS 对比
国内业务：腾讯云 COS 和阿里云 OSS 更加适合，性价比高，区域内性能更优。国际化业务：亚马逊 S3 是最佳选择，拥有最强的全球覆盖和可靠性。冷数据归档：华为云 OBS 的归档存储更具价格优势。多云策略：阿里云 OSS 和 AWS S3 通常作为组合搭配使用，国内外市场兼顾。用户可以根据自己的预算、目标市场和业务需求选择合适的对象存储服务。
2025-01-09 16:04:34
2716
原创 【Java】-- 利用 jar 命令将配置文件添加到 jar 中
将 core-site.xml 添加到 hadoop-core-1.2.1.jar 中。使用 vi hadoop-core-1.2.1.jar。3.1、安装 jdk。3.2、添加配置文件。
2025-01-09 15:40:56
546
原创 【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
【代码】【Apache Paimon】-- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践。
2025-01-09 11:28:26
1406
原创 【Apache Paimon】-- Paimon Filesysterm Catalog 和 Hive Catalog 的适用场景
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
2025-01-09 10:10:23
462
原创 【Apache Paimon】-- 为什么选择将 Spark 与 Paimon 集成，解决什么问题？
这种集成非常适合用于需要流批处理、数据更新、事务一致性的现代大数据分析场景。
2025-01-09 10:06:43
434
原创 【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema那么现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化，并同步至 hive 的 paimon 格式表中。
2025-01-07 17:03:45
733
原创 【Flink部署】-- 部署 flink 1.19.1 standalone 集群
注意：从 flink 1.19开始，flink-config.yaml 已经变更为 config.yaml。2.5、启动本地 standalone 集群。2.4、配置 config.yaml。2.1、下载 flink 二进制包。2.3、验证 flink 版本。2.2、配置全局环境变量。
2025-01-07 10:23:04
608
16-Flink与Kubernetes Operator集成实践与经验
2024-11-15
15-Flink from YARN to Kubernetes: 资源优化和容器化实践
2024-11-15
14-Flink Kubernetes Operator 从1.4.0 升级到1.6.0的技术手册
2024-11-15
13-Flink Kubernetes Operator 高级特性详解 - 自动伸缩与高可用机制
2024-11-15
12-Flink Kubernetes Operator部署与管理Flink应用实践
2024-11-15
11-Flink kubernetes operator 常用的命令
2024-11-15
10-Flink Kubernetes Operator 在本地环境的详细安装与操作指导
2024-11-15
9-Flink Kubernetes Operator 架构设计与实现详解
2024-11-15
8-在本地运行第一个 flink wordcount job
2024-11-15
7-Flink的核心特性-new
2024-11-15
5-在 Kubernetes 上运行容器
2024-11-15
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人