陈吉俊-CSDN博客

原创 Apache Doris 提供了多种数据导入方式

每种加载方式都有其适用场景和限制，例如 Stream Load 适合于小于10GB的同步导入，而 Broker Load 适合于数十GB到数百GB的异步导入。选择合适的加载方式可以有效提升数据导入的效率和稳定性。此外，Doris 还提供了一些工具和连接器来简化数据加载流程，比如 Doris Streamloader，它支持并行加载、多文件及目录支持、路径遍历能力、故障恢复与连续性、智能重试机制等特点。Doris 会调度任务将 Kafka 中的数据拉取并写入，支持 csv、json 格式的数据。

2024-09-23 18:41:30 293

转载 DORIS的12道面试题和答案

Master根据数据的大小和均衡策略，将数据分片分配给不同的Tablet Server，并监控各个Tablet Server的负载情况，动态调整数据的分片和迁移，以实现负载均衡。数据均衡：Doris的Master会监控各个Tablet Server的数据分片和负载情况，通过动态调整数据的分片和迁移，使数据在不同的Tablet Server上均衡存储和处理，减轻数据倾斜问题。聚合操作优化：Doris支持对列进行多级索引的构建，可以针对具体的查询需求进行索引优化，提高聚合操作的性能，减少数据倾斜的影响。

2024-09-23 18:33:37 254

原创 doris的面试题和答案

Parallel Processing）数据库系统。它主要解决大规模数据场景下，对数据分析的快速响应需求，支持复杂的SQL查询、聚合计算等，适用于实时数据仓库、数据湖、数据集市等多种场景。Doris通过其独特的存储引擎和查询优化技术，实现了数据的高效压缩、快速查询以及动态扩容。

2024-09-23 18:31:07 944

原创 flink常见面试题和答案

Client是Flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。而 Flink 的 Checkpoint 机制要复杂了很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。

2024-09-23 18:23:01 927

原创 spark 广播和累加器

广播变量和累加器都是Spark中用于优化分布式计算性能的重要工具。广播变量通过减少数据传输量来提高计算效率，而累加器则提供了一种简单且可靠的方式来聚合来自不同节点的统计信息。在实际应用中，开发者可以根据具体需求选择合适的共享变量来优化Spark作业的性能。

2024-09-23 18:08:40 843

原创实时流处理框架（如Flink、Spark Streaming）

Flink提供了多种时间语义（Time Semantics），包括事件时间（Event Time）、处理时间（Processing Time）和摄取时间（Ingestion Time）。Checkpoint会定期将系统的状态（包括算子的状态）持久化到外部存储（如HDFS、S3等），以便在发生故障时能够从最近的Checkpoint恢复状态，继续处理数据流。在发生故障时，可以从最近的Checkpoint恢复状态，继续处理数据流，从而避免数据丢失或不一致的情况发生。

2024-09-21 15:08:26 1253

原创 flink的窗口

滚动窗口和滑动窗口适用于需要按时间间隔进行数据统计和分析的场景，而会话窗口则更适用于用户行为分析等动态数据窗口的场景。Flink的窗口是处理无界流数据的一种重要机制，它将无限的流数据切割成有限的、可管理的部分，以便进行聚合、计算和分析。全局窗口在流处理中是一个特殊的情况，窗口大小和滑动步长都是无穷大。定义：窗口是Flink在处理流数据时用于划分数据流的逻辑概念，它将无限的流数据切割成有限的、可管理的部分。特点：适用于用户行为分析等场景，窗口的长度和位置是动态的，取决于数据元素到达的时间模式。

2024-09-12 14:38:36 788

原创双流join

Session Window Join：数据根据会话窗口进行分组，会话窗口是根据数据的间隙来定义的，例如，可以使用 EventTimeSessionWindows.withGap(Time.milliseconds(1)) 来定义会话间隙为 1 毫秒的会话窗口。在实际应用中，选择哪种方式取决于具体的业务需求和数据特性。在 Flink 中实现双流 join 主要有两种方式：基于窗口的 join（Window Join）和基于时间区间的 join（Interval Join）。

2024-09-12 14:31:43 602

原创大数据面试刷题

综上所述，以上这些网站都是大数据面试刷题的好选择。求职者可以根据自己的实际情况和需求选择合适的网站进行学习和练习。同时，也要注意保持学习的持续性和系统性，不断提升自己的综合素质和竞争力。

2024-08-09 09:29:15 592

转载数据域VS主题域

分析对象就是决策、分析时重点关注的东西，这个东西是非常主观的，在不同的企业，或者企业不同的发展时期，所关注的点会不一样，从而影响有些主题可能存在或者不存在。数据仓库时一套方法论，但并不是一个“定理”，可能不会有完全符合公司实际业务的“公式”，我们需要学习这些方法论，然后结合自己公司实际的业务场景来实现，只要能有序的把数据管控起来，同时又能高效的帮助数据分析，实现业务价值就好了，不必一味的追求“行业标准”，毕竟适合自己的才是最好的。主题域：从数据分析应用的角度进行划分的，通常是联系较为紧密的数据主题的集合。

2024-08-05 15:07:59 355

原创 AB测试介绍

AB测试，又称A/B测试，是一种统计学上的假设检验方法。它将数据分为两个或多个组，通常是对照组（Control Group，A组）和实验组（Test Group，B组），通过控制单一变量来比较不同策略或功能的效果，从而判断哪组的表现更好。

2024-07-19 10:32:18 816

转载 git操作篇

hotfix分支也叫维护分支或者热修复分支，用于快速给生产线上的产品打补丁用(比如客户在生产线上发现了紧急bug需要马上修复)，这是唯一从master分支中去fork出来的分支，修复完成后，将修改的要合并到develop分支，master分支应该用新的版本号打好tag。到了发布的时候，专门为发布准备了一个分支就是release分支，它从develop中fork出来，这么做的目的是一个团队可以在完善当前的发布版本的同时，另一个团队可以继续开发下一个版本。可以理解成在master分支上处理的临时发布。

2024-07-16 10:10:41 69

原创王阳明龙场悟道

王阳明（王守仁）的“龙场悟道”是中国明代哲学史上的一次重要事件，标志着阳明心学的形成和发展。

2024-07-15 13:09:18 360

原创 MD5(CONCAT_WS(‘-‘ ,CAST (sls.cinvcode AS STRING ), CAST (sls.autoid AS STRING) )) 这个逻辑的含义

例如，如果你想要为每个商品和自动编号的组合生成一个唯一的哈希值，这个表达式就可以做到这一点。函数名中的 "WS" 代表 "With Separator"，这意味着你可以指定一个分隔符来连接多个字符串。函数通常用于生成一个字符串的 MD5 哈希值，这是一种广泛使用的哈希函数，可以产生一个 128 位（16 字节）的哈希值，通常用一个 32 位的十六进制字符串表示。：最后，使用 MD5 函数对连接后的字符串进行哈希处理，生成一个 MD5 哈希值。不是字符串类型，这一步是必要的，以确保可以进行字符串操作。

2024-07-09 09:47:29 258

转载数仓开发流程和数据校验标准

a.应用上-底层表使用率(覆盖率)：分析师和业务方使用底层数据的占比情况，数仓的APP和DM层应用表是对业务结果的提炼，所以这个指标越小越好。b.执行上-JOB运行趋势：延迟率，失败率，资源消耗数，执行平均时长，资源等待时长，SLA满足率（分常规队列和核心队列）需求提出-需求对接/确认（业务诉求及拆解）-需求评估（明确数据抓手及指标口径）-需求开发-数据校验-需求交付-结束。c.质量上-故障数：由应用数据引起的故障（核心任务的延迟、失败等）a.后续可以通过写一些自动化校验的脚本来提高数据校验的效率。

2024-07-08 08:55:31 115

原创个人的时间管理和工作效率

这种习惯非常有助于提升个人的时间管理和工作效率。通过每天早上和晚上的反思与规划，你可以更好地掌控自己的日程，确保重要任务得到妥善处理，同时也能减少因遗忘或拖延而导致的压力和焦虑。1. 明确当天目标：2. 制定计划：3. 激发动力：1. 检查工作完成情况：2. 总结经验：3. 规划第二天：4. 放松身心：通过坚持这种早上思考和晚上反思的习惯，你可以逐渐形成一个高效、有序的工作和生活方式。这不仅有助于你更好地完成工作任务，还能提升你的自我认知和自我管理能力。

2024-07-03 17:23:46 252

转载据平台的4个阶段：从数据库到数仓再到中台，超详细的架构全解

另一方面，平台是不带有业务特征性质的，主要汇集其他人的能力，整合成平台的能力，相对来说是静态的，而中台是动态变化的本身，需要通过数据驱动的方式来滋养业务，不断训练调整业务模型和业务算法提供的能力，提供给其他系统和平台集成的能力。在数据服务层通过数据服务化的Data API的方式，打通数据平台和前台的业务层对接，结合算法，把前台业务的分析需求和交易需求直接对接到中台来，通过数据中台处理和逻辑运算，然后在反向赋能业务，真正做到意义上的『一切业务数据化，一切数据业务化』。

2024-07-02 10:46:14 650

原创中午吃完饭然后走路30分钟的好处

中午吃完饭然后走路30分钟的好处：

2024-06-24 11:08:42 431

原创 90天瘦30斤瘦身计划

在开始任何减肥计划之前，强烈建议咨询医生或营养师以确保该计划适合您的健康状况。减肥过快可能对身体健康产生负面影响，因此请确保您的方法既安全又可持续。请记住，健康和安全是首要考虑的因素。遵循这个计划时，请确保您的身体能够适应并感到舒适。如有任何不适，请立即停止并寻求医疗建议。在90天内健康地减轻30斤体重。

2024-06-24 09:37:14 420

原创工作改进：先想好怎么做，然后再执行

领导的反馈非常宝贵，它指出了你在工作中的一个重要方面可以改进的地方。通过实施这些建议，你将能够更好地规划和管理工作，提高工作效率和质量，从而赢得领导的更多认可和信任。

2024-06-20 18:31:27 317

原创如何减少工作中出现的问题和提高效率

这不仅可以帮助你避免在未来重复相同的错误，还可以作为学习和改进的依据。通过不断学习和实践，你可以找到最适合自己的工作方式和处理事情的方法，提高工作效率和质量。：通过定期回顾问题集，你可以识别出常见的问题类型和趋势，这有助于你提前采取预防措施，减少未来出现问题的可能性。随着时间的推移，你可以看到自己的进步，以及仍然需要改进的方面。：在求职或晋升时，问题集可以作为你个人能力和经验的证明，展示你的成长和解决问题的能力。：你可以将问题集分享给同事或团队成员，帮助他们避免相同的错误，并共同学习和进步。

2024-06-20 09:40:42 1082

原创如何减少sql出现问题

在编写 SQL 时遇到小问题是很常见的，尤其是当你对 SQL 语言、数据库设计或业务需求不够熟悉时。

2024-06-20 09:34:40 489

原创 starrocks进行数据的删除

另外，根据搜索结果，StarRocks 在某些版本中可能不支持在 DELETE 语句的 WHERE 条件中使用函数，例如 `DATE(time)`。如果您的 `dt` 字段是日期时间类型，并且您需要使用函数来构造删除条件，请确保您的 StarRocks 版本支持这种用法，或者您可能需要使用其他方式来构造删除条件。最后，如果您在执行 DELETE 操作时遇到任何问题，您可以查看 StarRocks 的官方文档或社区论坛获取帮助。在这里，`p1` 是您想要删除数据的分区名称，您需要替换为实际的分区名称。

2024-06-19 17:18:45 991

原创 ALTER TABLE 语句来添加字段或修改列的注释。

你可以使用外部工具或脚本来修改数据源的表结构，并在 Flink SQL 中查询修改后的表。如果你只是想为 Flink SQL 查询中的字段添加注释或描述，以便其他开发人员更容易地理解你的查询，你可以考虑在查询的文档或注释中添加这些信息。如果你的 Flink 任务与元数据存储（如 Catalog）集成，你可以使用 Catalog 的 API 或管理工具来添加或修改表的字段和注释。如果你的 Flink 任务连接到的是支持 DDL 语句的数据源（如 Hive），你可以使用相应的 DDL 语句来添加字段或注释。

2024-06-17 14:07:41 853

原创 Cannot discover a connector using option: ‘connector‘=‘starrocks‘

这通常意味着你虽然可能已经在项目的依赖管理中添加了 StarRocks 的 Flink 连接器依赖，但是 Flink 运行时并没有找到这个依赖，或者该依赖并不包含你需要的连接器工厂。如果你是在集群上运行 Flink 任务，确保你已经将 StarRocks Flink 连接器依赖的 JAR 包部署到了 Flink 的 lib 目录下，或者通过 Flink 的。如果你使用的是 Maven，你可以通过。在添加了新的依赖之后，确保你重新构建了你的项目，以便 Maven 或 SBT 能够下载并安装新的依赖。

2024-06-14 08:29:15 537

原创 StarRocks中，这些配置项是表属性的一部分

是一种流行的压缩算法，它提供了良好的压缩比和较快的压缩/解压缩速度。: 这个属性指定了数据的副本数量。在StarRocks中，为了数据的高可用性，每个数据分片（tablet）可以有多个副本。设置为"false"，则表示关闭了异步写回功能，所有的写操作都将同步执行。在StarRocks中，缓存可以显著提高查询性能，特别是对于频繁访问的数据。在StarRocks中，这些配置项是表属性的一部分，用于定义表的行为和性能特征。设置为"true"，则StarRocks会尝试将热点数据缓存到内存中，以加速数据访问。

2024-05-29 15:10:03 670

原创数据质量报告模板

数据质量报告报告概述报告日期：YYYY年MM月DD日报告周期：报告覆盖的时间范围（例如，月度、季度）报告版本：1.0 编制人员：报告编写者姓名审核人员：报告审核者姓名数据集概览数据集名称：涉及的数据集或数据库名称数据集描述：数据集的简要描述，包括其用途和重要性数据量：报告周期内的数据记录总数关键指标：记录数空值比例重复记录数数据更新频率数据质量评估准确性定义：数据正确反映其真实世界实体的程度评估方法：通过与权威数据源对比等方法

2024-05-28 13:37:12 1387

原创 OpenMetadata数据质量监控与提升方案

随着业务对数据依赖性的增强，数据质量成为了决定业务决策成功与否的关键因素。OpenMetadata作为一款强大的元数据管理工具，为我们提供了数据质量检测与监控的能力。本项目旨在通过OpenMetadata平台，构建一套高效、准确的数据质量监控体系，并通过预警机制，帮助业务团队及时了解数据质量问题，进而提升数据质量。

2024-05-28 13:27:03 650 1

原创努力提升自己的技术能力

理解你的感受，很多人都会有类似的想法，尤其是在长期工作后感觉自己在技术和专业方面没有达到预期的水平。但是，重要的是要认识到学习是一个持续的过程，而且每个人都有自己的成长速度和方式。只要你保持耐心和毅力，持续努力，你一定能够提升自己的技能和专业水平。同时，也要相信自己的能力和潜力，相信自己可以变得更加强大和优秀。实践和反思：学习不仅仅是理论知识，更重要的是实践。不断追求新的知识和技能，跟上行业的最新发展，这将有助于你在职业生涯中保持竞争力。设定目标：明确你想要提升的具体技能或领域，然后设定短期和长期的目标。

2024-05-28 13:25:04 228

原创工作时想玩游戏

如果你还没有开始工作，但是意识到不能继续玩游戏了，这是一个很好的自我管理和时间意识的体现。例如，在完成一项重要任务后，允许自己享受一段放松的时光，比如玩一下游戏或看一集喜欢的电视剧。例如，允许自己在工作完成后玩30分钟的游戏，然后回到工作或其他责任中。最重要的是，要认识到时间的宝贵性，并努力在工作和娱乐之间找到平衡。通过有效地管理时间，你可以更好地完成工作，同时享受生活的乐趣。：制定一个简单的工作计划，将任务分解成可管理的小块，并为每个任务分配合理的时间。：首先，确定你的工作目标和优先级。

2024-05-19 16:15:56 288

原创配置邮件告警系统是数据质量管理

2. **告警条件设置**：定义触发邮件告警的数据质量规则，如数据缺失、异常值、重复记录等。7. **教育与培训**：对团队成员进行数据质量管理的教育和培训，提高他们的数据质量意识。- **提高数据质量意识**：定期的质量检测报告可以提高团队对数据质量的重视。- **责任明确**：指定的收件人可以根据告警邮件负责相应的数据质量问题。- **提升用户信任**：确保数据的可靠性，增强内外部用户对数据的信任。1. **数据质量检测**：运行已配置的质量检测脚本，对数据进行检测。

2024-05-17 13:47:58 310

原创改进自己的工作方式和思路

1. **明确目标**：在开始任何工作之前，确实需要先明确你的目标是什么。4. **利用AI作为工具**：AI是一个强大的工具，可以帮助你提高效率和质量。5. **持续学习**：专业知识是基础，持续学习和提高自己的专业水平是非常重要的。这是一个持续改进的过程。10. **保持好奇心和开放性**：对于新的工具、技术和方法保持好奇心，愿意尝试和学习。6. **实践和应用**：将学到的知识应用到实际工作中，通过实践来巩固和深化理解。8. **时间管理**：合理安排时间，确保有足够的时间来思考、规划和执行。

2024-05-17 13:17:12 220

原创 excle的公式转flinksql

K:$K,"*"&"民"&"*",未完成订单!SUM(CASE WHEN 未完成订单.Q LIKE CONCAT('%', B30, '%') AND 未完成订单.K LIKE CONCAT('%', '民', '%') AND 未完成订单.I >= '2024-01-01' AND 未完成订单.I < '2024-04-01' THEN 未完成订单.S ELSE 0 END) +$M:$M,"<"&TEXT($T$7,"YYYY")-1&"-"&TEXT($T$7,"M")+1&"-1")`

2024-05-17 11:29:34 349 1

原创 cx_Oracle Python 库连接 Oracle 数据库时遇到报错

前往 Oracle 官方网站下载适合你操作系统（Windows、Linux、macOS）和 Python 版本的 64 位 Oracle Instant Client。如果你不希望在你的机器上安装 Oracle 客户端库，或者你的开发环境比较复杂，可以考虑使用 Docker 来运行一个包含 Oracle 客户端的容器，并在该容器中运行你的 Python 脚本。如果你需要指定 Oracle 客户端库的位置（特别是当你使用的是虚拟环境时），你可能需要设置。（Windows）中的路径。（对于 macOS）。

2024-05-16 14:56:47 3007

原创要对数据源和同步后的数据进行数据量的对比

4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。

2024-05-16 10:19:13 414

空空如也

空空如也