- 博客(1020)
- 资源 (27)
- 收藏
- 关注
原创 【DeepSeek】-- 常用润色指令
指令:请在不改变原文意思的基础上,对以下文章进行扩写。要求如下:1.围绕文章主题,供更丰富的信息和观点。2.引人相关案例或数据支持文中论点,增强说服力。3.结构清晰、逻辑连贯,易于读者理解。
2025-04-17 11:04:35
301
原创 【生活】-- 微信小程序和传统APP的优缺点对比
小程序 ✅ 无需下载安装:即用即走,节省手机存储空间。 ✅ 跨平台兼容:iOS和Android均可使用,无需单独适配。 ❌ 功能受限:受限于微信框架,无法实现复杂功能(如大型游戏、高性能计算)。 ❌ 用户留存低:次日留存约13%,双周留存仅1%。APP ✅ 功能强大:可开发复杂应用(如视频编辑、3D游戏)。 ✅ 个性化体验:UI设计更灵活,交互更流畅。 ❌ 安装门槛高:需下载,占用存储空间,用户可能因流量或存储问题放弃。小程序 ✅ 开发成本低:周期短(约2周),适合初创团队。 ✅ 云开发支
2025-04-16 11:01:17
227
原创 【Apache Paimon】-- flink job 并行度个数决定 bucket 个数
如果不需要对 Paimon表进行即席(OLAP)查询,只需进行批式或流式消费,可以选择配置以下表参数,将数据文件格式改为avro,并关闭采集统计数据,以进一步提高写入作业的效率。,允许至多3个检查点同时进行,主要用于减小部分并发检查点长尾的影响。1、适当减小 sink.parallelism。3、将小文件合并改为完全异步。
2025-04-10 11:05:25
136
原创 【Java 基础】-- 深入剖析 Java HashMap 中的红黑树
节点颜色:每个节点要么是红色,要么是黑色。根节点:根节点是黑色。叶子节点:每个叶子节点(NIL)是黑色。红色节点限制:每个红色节点的两个子节点一定都是黑色。黑色节点平衡:从任一节点到其每个叶子节点的路径都包含数量相同的黑色节点。这些特性确保了红黑树的平衡性,使其在最坏情况下的查找、插入和删除操作的时间复杂度维持在 O(log n)。
2025-03-14 16:45:10
423
原创 【数据仓库】-- 原子和派生指标
转化率通过衡量完成目标的用户与所有访问用户的比例,帮助分析营销或用户体验的效果。客户留存率衡量了你保持现有客户的能力,帮助你了解客户忠诚度和产品或服务的持续吸引力。这些派生指标都基于原子指标的计算和组合,通过深入分析,能够提供更有价值的洞察,帮助优化营销策略、客户关系管理和整体业务运营。
2025-03-12 14:15:45
98
原创 【Java 基础】-- Java final 关键字详解
使用final关键字定义常量时,通常与static这样可以确保PI作为全局常量不可更改。
2025-03-12 11:27:47
350
原创 【Java 和 Scala】-- Java 与 Scala 的 Assert 断言对比
断言(Assertion)是一种用于在开发和测试阶段检查代码逻辑的机制。它通常用于验证程序的某些假设是否成立,若不成立,则会抛出错误或异常,以便开发者发现潜在的逻辑错误。在 Java 和 Scala 中,assert关键字用于进行断言检查,它通常只在调试或测试阶段启用,而不会影响生产环境的代码运行。
2025-03-12 10:42:10
961
原创 【Java 基础】-- 深入理解 Java 中的 java.util.Properties 及其打印方式
是 Java 提供的一个用于管理**键值对(key-value)**的类,主要用于存储配置参数,如数据库连接信息、国际化资源、应用程序设置等。它继承自,但通常只用于存储String类型的键值。
2025-03-06 11:39:32
456
原创 【Apache Paimon】-- 为什么会使用 apache arrow ?
Paimon 使用 Arrow 主要是为了提升数据处理性能、增强跨语言兼容性、更好地集成大数据生态系统,并利用 Arrow 的高性能计算和高效数据共享能力。
2025-03-04 14:50:48
193
原创 【Java 基础】-- 设计模式
Java 设计模式是提升代码质量的有力工具。掌握这些模式,可以在开发中编写出更加优雅、可维护的代码。建议通过实践不断加深理解,灵活运用设计模式解决实际问题!
2025-03-04 14:19:20
479
原创 【Java 基础】-- 访问控制修饰符详解
在 Java 中,访问控制修饰符(Access Modifiers)用于控制类、方法和变量的可访问性。合理使用这些修饰符可以提高代码的封装性、安全性和可维护性。privatedefault(无修饰符)、protected和public。
2025-03-04 11:41:46
515
原创 【Java 基础】-- Java static 关键字详解
本文通过详细的对比分析,希望能帮助你更好地理解。关键字表示“静态”,用于修饰成员变量、方法、代码块和内部类。其核心作用是让修饰的成员属于类本身,而不是类的实例。静态变量属于类本身,而不是某个具体的实例。无论创建多少个对象,静态变量在内存中都只有一份拷贝。关键字是 Java 中的一个重要概念,广泛应用于类的变量、方法、代码块和内部类。它只能访问静态成员,不能访问实例变量。的用法,不仅能优化代码结构,还能提高程序的性能。静态代码块在类加载时执行,通常用于初始化静态变量。的作用、使用场景、对比分析以及注意事项。
2025-02-28 16:49:35
422
原创 【Java 基础】-- Java 的三大特性:封装、继承和多态
理解并掌握这三大特性,可以帮助开发者编写出更清晰、模块化和高效的 Java 代码。如果你有任何问题或见解,欢迎留言讨论!这三大特性是 Java 代码可维护性、可扩展性和重用性的关键。本文将详细介绍这三大特性,并提供示例代码帮助理解。Java 作为一门面向对象的编程语言(OOP),其核心特性包括。,从而实现代码复用的机制。在 Java 中,封装通常通过。关键字访问父类的属性和方法。在 Java 中,继承通过。Java 的三大特性——是面向对象编程的核心。
2025-02-28 10:32:34
959
原创 【Java 基础】-- Java 关键字 this 和 super 详解
是 Java 面向对象编程中非常重要的两个关键字。掌握它们的用法,可以帮助开发者更好地理解类的继承关系,提高代码的可读性和维护性。在实际开发中,合理使用。是两个常见的关键字,它们分别用于表示当前对象和父类对象。理解这两个关键字的用法对于掌握 Java 面向对象编程(OOP)至关重要。,可以避免变量冲突,增强代码的灵活性,使代码更具层次感。如果你有任何问题或更好的见解,欢迎留言交流!希望这篇文章能帮助你更好地理解。的作用及其常见应用场景。在 Java 编程中,
2025-02-28 10:28:22
316
原创 【Maven】-- Maven Scope 详解
Scope编译(Compile)测试(Test)运行(Runtime)典型使用场景compile(默认)✅✅✅普通依赖,如 Apache Commonsprovided✅✅❌运行环境提供的库,如runtime❌✅✅运行时才需要的库,如test❌✅❌测试框架,如 JUnitsystem✅✅✅本地 jar,如商业库(不推荐)import❌❌❌仅用于。
2025-02-26 15:32:44
1351
原创 【Maven】-- 使用 mvn spotless:apply 命令格式化代码
在 Java 开发中,代码风格统一至关重要,尤其是在团队协作中。spotless是一个流行的代码格式化工具,是 Maven 中用于自动格式化代码的命令。它可以帮助开发者统一代码风格,减少不必要的格式差异,提高代码可读性。Spotless 是一个支持多种语言的代码格式化工具,适用于 Java、Kotlin、Python、SQL 等语言。它可以与各种构建工具(如 Maven、Gradle)集成,实现自动格式化代码。代码格式化:自动调整代码格式,使其符合预定义的规则。删除多余的空格和换行。
2025-02-25 17:06:56
682
原创 【Java 基础】-- Java 接口中的 @Public 和 @FunctionalInterface 注解详解
在 Java 开发中,@Public和注解用于标识接口的特定用途和可访问性。@Public主要用于标识某些 API 或接口对外部用户是公开的,而则用于表明该接口是一个符合 Java 8 及以上版本的函数式接口。本篇文章将详细介绍这两个注解的作用、使用场景以及最佳实践。
2025-02-25 16:44:31
1142
原创 【Java 基础】-- 深入理解 Java 的 AutoCloseable 接口:资源管理的利器
是 Java 1.7 引入的一个接口,旨在帮助开发者更高效地管理资源,确保资源能够在不再使用时被正确释放。它通常与语法一起使用,以减少资源泄漏的风险。在 Java 之前的版本中,资源管理依赖于代码块,而使资源管理变得更加简洁和可靠。/**//*** @apiNote*//***/该接口只有一个方法close(),用于释放资源。方法声明允许抛出Exception,这意味着具体实现可以抛出更具体的异常,或者不抛出异常。
2025-02-25 16:31:42
911
原创 【生活】-- 下班后丰富生活的100种玩法
35、学习手工艺:如 DIY、编织、做珠宝等,动手提升自己。44、学一门新技术:如编程、数据分析等,提升自己的技术。50、参加社交活动:如聚会、酒吧或社交团体,认识新朋友。87、制作相册:整理生活中的照片,制作一个个性化的相册。11、参加搏击训练:如拳击、跆拳道等,锻炼身体又解压。27、参加脱口秀:去参加现场的脱口秀表演,放松又有趣。49、参加线上聚会:加入兴趣相投的社群,参加线上活动。57、和朋友一起做晚餐:一起尝试新菜谱,增加互动乐趣。64、做按摩:给自己做肩部、颈部的简单按摩,缓解压力。
2025-02-19 16:18:53
334
原创 【Apache Paimon】-- Flink 消费 kafka 数据异常
发现 Step1和 2 正常,但 Step 3 未配置。初次消费 kafka topic 数据时,需要配置 为 earliest 或者 latest。不能配置 NONE!Step.1 检查 kafka server 是否可用:telnet locahost:9092。配置 auto.offset.reset = earliest,再次启动即可!Step.3 检查 auto.offset.reset 是否有配置。Step.2 检查 kafka topic 是否存在。
2025-02-18 17:06:41
302
原创 【数据湖仓】:Iceberg、Hudi 和 Paimon 对比
适用于需要多计算引擎支持和复杂查询的离线批处理场景。其中立性和灵活性使其成为构建新型数据平台的理想选择。:在需要高频数据更新和高效小文件管理的场景中表现出色,适合实时数据处理和增量数据更新的业务需求。:专为实时流式数据处理设计,适用于对数据实时性要求高的业务场景,如实时数据分析和实时指标监控。通过以上分析,可以看出 Apache Iceberg、Apache Hudi 和 Apache Paimon 各有其独特的优势和适用场景。企业应根据自身业务需求和技术栈选择合适的数据湖仓方案,以充分发挥其价值。
2025-02-17 11:52:52
415
原创 【Apache Paimon】-- 16 -- 利用 paimon-flink-action 同步 kafka 数据到 hive paimon 表中
CDC(Change Data Capture)是一种用于捕获数据库变更的技术。它能够实时捕获数据库中的插入、更新和删除操作,并将这些变更数据传递给下游系统进行处理。
2025-02-12 15:22:45
380
转载 DeepSeek:从入门到精通
PDF 文章下载:https://download.csdn.net/download/high2011/90367183
2025-02-11 10:14:55
51
原创 【Apache Paimon】-- 作为一名小白,如何系统地学习 Apache paimon?
这些任务分阶段进行了详细拆解,从基础的安装、配置,到深入的性能优化、生产环境部署,再到进阶的扩展与社区贡献,涵盖了学习 Apache Paimon 的各个方面。建议可以按照这些任务逐步深入学习,逐步成为 Paimon 的专家。
2025-02-11 09:28:54
445
原创 【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据
在Paimon 诞生以前,若 mysql/pg 等数据源的表结构发生变化时,我们有几种处理方式2.2、flink 运行依赖第三方包3.2、hive 3.1.3 集成 paimon 0.9.03.3、部署 flink 1.19.1 standalone 节点3.4、部署 postgresql3.4.1 安装3.4.2 配置新增3.4.3 启动4、启动环境4.1、启动 hive(1)mac os 环境下需要设置允许远程登录:设置 —> ssh remote logins:
2025-02-07 10:22:40
315
原创 【Java 基础】-- Integer.valueOf 和 Integer.parseInt 区别
如果你只需要整数值,并且不涉及对象操作,Integer.parseInt是首选。如果需要使用包装类(如需要支持null或用于集合等对象操作场景),可以选择 Integer.valueOf。
2025-01-16 15:46:28
489
原创 【Apache Paimon】-- 源码解读之 PaimonSparkSessionExtensions
是 Apache Spark 提供的一个配置参数,允许用户通过扩展 Spark 的 SQL 解析器、分析器、优化器和执行计划,来自定义 Spark SQL 的行为。的核心功能是通过扩展 Spark SQL 的各个阶段(解析、分析、优化、执行)来支持 Paimon 的特定功能和优化。,用户可以注册扩展类来修改或增强 Spark SQL 的功能,比如注入自定义解析规则、优化规则、计划策略等。,为 Spark SQL 注入了 Paimon 特定的语法、分析规则、优化器规则和执行策略。扩展的核心是通过实现。
2025-01-15 11:21:25
341
原创 【Apache Paimon】-- 源码解读之环境问题
确保 ANTLR 的语法文件正确生成了JavaParser和JavaLexer。确认 ANTLR 运行时依赖已包含在项目中。检查包路径是否一致。确认 IDE 和构建工具配置无误。
2025-01-14 11:33:31
412
原创 【对象存储】-- s3:\\、s3n:\\、s3a:\\ 简介
是访问 Amazon S3 的不同文件系统实现方式。在 Hadoop 和大数据处理领域,
2025-01-09 19:36:52
658
原创 【对象存储】-- OSS、S3、OBS 和 COS 对比
国内业务:腾讯云 COS 和阿里云 OSS 更加适合,性价比高,区域内性能更优。国际化业务:亚马逊 S3 是最佳选择,拥有最强的全球覆盖和可靠性。冷数据归档:华为云 OBS 的归档存储更具价格优势。多云策略:阿里云 OSS 和 AWS S3 通常作为组合搭配使用,国内外市场兼顾。用户可以根据自己的预算、目标市场和业务需求选择合适的对象存储服务。
2025-01-09 16:04:34
2076
原创 【Java】-- 利用 jar 命令将配置文件添加到 jar 中
将 core-site.xml 添加到 hadoop-core-1.2.1.jar 中。使用 vi hadoop-core-1.2.1.jar。3.1、安装 jdk。3.2、添加配置文件。
2025-01-09 15:40:56
523
原创 【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
【代码】【Apache Paimon】-- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践。
2025-01-09 11:28:26
1361
原创 【Apache Paimon】-- Paimon Filesysterm Catalog 和 Hive Catalog 的适用场景
Filesystem Catalog 是 Apache Paimon 的内置 Catalog,它将元数据直接存储在文件系统中(如 HDFS、S3、本地文件系统等)。Hive Catalog 是基于 Hive Metastore 的 Catalog,实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog(元数据管理)方式,用于统一管理表的元数据,如表结构、存储位置、分区等。
2025-01-09 10:10:23
435
原创 【Apache Paimon】-- 为什么选择将 Spark 与 Paimon 集成,解决什么问题?
这种集成非常适合用于需要流批处理、数据更新、事务一致性的现代大数据分析场景。
2025-01-09 10:06:43
398
原创 【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据
在Paimon 诞生以前,若 mysql/pg 等数据源的表结构发生变化时,我们有几种处理方式(1)人工通知(比如常规的使用邮件),然后运维人员手动同步到数据仓库中(2)使用 flink 消费 DDL binlog ,然后自动更新 Hive 的外部表和内部表 schema那么现在,有了 Paimon ,我们可以利用其特性,自动识别并同步 DDL 这些变化,并同步至 hive 的 paimon 格式表中。
2025-01-07 17:03:45
684
原创 【Flink部署】-- 部署 flink 1.19.1 standalone 集群
注意:从 flink 1.19开始,flink-config.yaml 已经变更为 config.yaml。2.5、启动本地 standalone 集群。2.4、配置 config.yaml。2.1、下载 flink 二进制包。2.3、验证 flink 版本。2.2、配置全局环境变量。
2025-01-07 10:23:04
567
原创 【Java 基础】-- Math.ceil()、Math.floor()和 Math.round() 介绍
在 Java 中,和是用于处理浮点数的小数点的三个常用方法。
2024-12-26 16:46:25
1766
16-Flink与Kubernetes Operator集成实践与经验
2024-11-15
15-Flink from YARN to Kubernetes: 资源优化和容器化实践
2024-11-15
14-Flink Kubernetes Operator 从1.4.0 升级到1.6.0的技术手册
2024-11-15
13-Flink Kubernetes Operator 高级特性详解 - 自动伸缩与高可用机制
2024-11-15
12-Flink Kubernetes Operator部署与管理Flink应用实践
2024-11-15
11-Flink kubernetes operator 常用的命令
2024-11-15
10-Flink Kubernetes Operator 在本地环境的详细安装与操作指导
2024-11-15
9-Flink Kubernetes Operator 架构设计与实现详解
2024-11-15
8-在本地运行第一个 flink wordcount job
2024-11-15
7-Flink的核心特性-new
2024-11-15
5-在 Kubernetes 上运行容器
2024-11-15
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人