浪尖聊大数据-浪尖-CSDN博客

转载 4w字Spark调优宝典(推荐收藏)

1 性能调优1分配更多资源分配哪些资源？Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量在哪里分配这些资源...

2021-06-25 09:00:00 1189

转载 spark shuffle的几种特殊情况

1.shuffle概览一个spark的RDD有一组固定的分区组成，每个分区有一系列的记录组成。对于由窄依赖变换（例如map和filter）返回的RDD，会延续父RDD的分区信息，以pipe...

2021-06-15 09:00:00 908

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑：性能：能够快速查询所需的数据，减少数据I/O的吞吐。成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中的存储成本和计算成本。效率：改善用使用数据的体验，提高使用效率。

2021-06-12 20:12:51 2845 1

转载那些被问懵逼的数仓面试题

数仓构建：1). 前期业务调研需求调研数据调研技术选型2). 提炼业务模型，总线矩阵，划分主题域；3). 定制规范命名规范、开发规范、流程规范4). 数仓架构分层：一般分为操...

2020-12-16 08:34:00 1070

转载 8种ETL算法模型汇总大全！看完你就全明白了

摘要：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加...

2020-12-07 17:55:22 3240

原创浪尖聊聊大数据从业者的迷茫及解决方案

最近不少粉丝找浪尖私聊，说做大数据久了比较迷茫，今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办！一现状目前的迷茫最主要原因是行业趋势所致，了解一下大数据行业的现状：对于整个...

2020-12-06 16:08:14 1593 5

转载面试|不可不知的十大Hive调优技巧最佳实践

Apache Hive是建立在Apache Hadoop之上的数据仓库软件项目，用于提供数据查询和分析。Hive是Hadoop在HDFS上的SQL接口，它提供了类似于SQL的接口来查询存...

2020-11-18 09:00:00 861

原创面试｜spark刷爆磁盘与java弱引用的关系

一引用基本概念如下面，定义两个变量num，str，存储模型大致如下图：int num = 6;String str = “浪尖聊大数据”;变量num值直接从6修改为了8；变量str...

2020-11-11 08:35:34 385

转载 Hbase Bulkload 原理｜面试必备

当需要大批量的向Hbase导入数据时，我们可以使用Hbase Bulkload的方式，这种方式是先生成Hbase的底层存储文件 HFile，然后直接将这些 HFile 移动到Hbase的...

2020-11-10 08:59:49 1435

原创漫画｜讲解一下如何写简历&项目

star法写项目的案例：深圳浪尖聊大数据有限公司2018.3-至今日志中心建设项目周期2020.2.10-2020.4.20成就经历简述2020.2.10-2020.5.20，在深圳...

2020-11-06 08:19:00 996

原创漫画面试回答kafka为何如此之快｜满分

一磁盘读写原理磁盘的结构图：当需要从磁盘读取数据时，要确定读的数据在哪个磁道，哪个扇区：首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间;然后目标...

2020-10-29 08:18:00 2728 11

转载大数据开源框架技术汇总

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展...

2020-10-25 09:38:32 3366 1

原创漫画讲解Kafka高效的存储设计｜面试

在开始讲解之前，先带着大家回忆一下kafka一些名词概念：a. Broker：提供数据存储和数据读写服务实例，一个Kafka节点就是一个broker，多个broker可以组成一个Kafk...

2020-10-22 08:25:00 841

原创漫画全面解释Spark企业调优点

一：资源配置一般企业中，物理机器的cpu:内存基本上都是1:4+，比如机器24core，一般有128GB及以上内存；48core，一般有256GB及以上内存。减去系统及hdfs所需cor...

2020-10-18 20:43:40 879 4

转载干货分享 | 4万字全面解读数据中台、数据仓库、数据湖（建议收藏）

如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析，便于读者对数据平台相关的概念有全面的认识。关系数据库本质上是一个二元关系，说的简单一些，就是一个

2025-05-18 11:08:27 82

转载详解如何在数仓中管理元数据

数据仓库，由数据仓库之父比尔·恩门（Bill Inmon）于 1990 年提出，主要功能仍是将组织透过资讯系统之联机事务处理（OLTP）经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理、数据挖掘（Data Mining）之进行，并进而支持如决策支持系统（DSS）、主管资讯系统（EIS）之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能（BI）。从而达到一个相对平衡的角度。

2025-05-08 09:11:47 70

转载开源大数据 OLAP 引擎最佳实践

实现了冷热的分层存储，节约了成本。经过改造之后，完美支持Upsert场景，Presto可以查询明细数据，CK的宽表数也可供Ad-hoc查询，CK的物化视图供BI系统查询。在LakeHouse场景中，StarRocks的联合查询，不但屏蔽了底层数据源的细节，而且可以对异构数据据源数据联合分析，与增量数据湖格式完美结合。其次，当所有聚合的数都导入Olap系统时，运营人员可以快速用它，实现自己新的想法，提升工作效率。除此之外，它支持向量化的查询，完善的SQL以及实时的数据更新，查询速度可以达到亚秒级的响应。

2025-04-14 09:47:28 120

转载 Dinky 和 Flink CDC 在实时整库同步的探索之路

摘要：主要讲述 Dinky 的整库同步技术方案演变至 Flink CDC Yaml 作业的探索历程，并深入讲解Flink CDC Yaml的一些细节能力。内容分为以下几个部分：01起源本次分享围绕数据集成，它也是 Flink CDC Yaml 作业的出现背景。在 Dinky 的众多用户中，我们总结出以下在传统的数据集成方案中普遍会遇到的问题：需要将业务库中的业务数据同步到分析库中，起到解耦分析的作用，一般有三点要求。要求数据必须一致、链路要求稳定、数据时效性尽可能要高。在传统的数据集成方案中可以通过离线和实

2025-04-12 18:12:02 63

转载 Flink Shuffle 技术演进之路

Shuffle 是分布式系统中数据流转的关键技术之一，对作业性能有着极为重要的影响，在计算引擎中扮演着重要角色。自 Flink 诞生以来，已有十年的发展历程。在 Shuffle 技术方面，Flink 也经历了多种 Shuffle 模式的演变，进行了多轮迭代和优化，实现了许多创新:从最初的 Pipelined Shuffle，到 Blocking Shuffle，再到创新性地提出 Hybrid Shuffle。本次分享主要探讨 Flink 社区在 Shuffle 方向遇到的问题、解决方法，以及对未来的思考和规

2025-04-09 13:58:08 58

转载 Flink基于Paimon的实时湖仓解决方案的演进

这是一个典型的流式湖仓架构，首先业务数据会存储在 MySQL 表中，然后借助 Flink 及其 CDC Connector 的作业，将这些数据库的数据同步到 Paimon 的 ODS 层中，从而构成 ODS 层数据。在有了 ODS 层数据之后通常会进行数据过滤，并进行数据的 Join 操作，以生成一个宽表，这就是 DWD 层的数据。接着在流式湖仓中也经常看到使用无主键表的情况，然而无主键表存在一个问题：它的所有数据都是根据写入时的顺序进行排序的，而在一个数据文件内部，所有列的数据是乱序的。

2025-04-08 09:56:25 71

转载 Apache Flink 2.0.0: 实时数据处理的新纪元

实时计算的成本居高不下，无论是昂贵的资源消耗，还是掌握复杂的分布式流处理概念所需的学习曲线，都限制了实时计算在更多样化应用场景中的发挥。在 Flink 2.0 中，Flink 社区与 Paimon 社区紧密合作，充分发挥各自优势和前沿功能，带来了显著的增强和优化。这有效缓解了由数据倾斜引起的长尾延迟。- 通过与 Apache Paimon 社区的合作，Paimon 的湖存储格式目前原生支持 Flink 物化表，将 Flink 的流批计算与 Paimon 的高性能 ACID 事务相结合，实现统一的数据服务。

2025-04-03 09:57:02 197

转载 Flink + Doris 实时湖仓解决方案

然而，这也会引发一些问题，例如，虽然它满足了两种场景的需求，但是整个操作过程非常复杂，两条流的数据如何保持一致成为难题，各种校验和对齐工作使得数据一致性很难得到保证。相比 MySQL 协议，ADBC 更适合高性能的数据传输，在 AI 和机器学习场景下，能够快速的传输大量的数据。IO优化：针对 HDFS 或者对象存储系统的特性，Doris 实施了涵盖小 IO 合并、IO 预取、延迟物化等诸多优化举措，助力用户在未命中缓存的情况下读取远端数据时，依旧能够实现较为良好的吞吐效果或者较低的延迟。

2025-04-02 09:27:41 129

转载 Flink 批处理自适应执行计划优化

如果用静态 Broadcast Hash Join 优化策略对它进行优化，我们只能通过统计信息得到右表的原始数据量，由于表的大小15MB大于 Broadcast 的阈值 10MB，因此它不会在编译期被优化为 Broadcast Hash Join，但是在实际运行的时候，经过 Filter 算子的过滤，它所在的 stage 产出的实际数据量只有5MB，又满足了 Broadcast 的阈值，但是在原有的架构下，由于逻辑拓扑无法被修改，因此它还是会按照SortMergeJoin的方式去执行。

2025-03-28 10:51:00 66

原创 AI如何帮助程序员减负的？

例如输入“创建连接SQL Server的C#数据库类”，AI可自动生成包含连接池管理、CRUD操作的基础代码，节省80%重复编码时间。Fitten Code根据代码逻辑输出API文档，文心快码实现注释与代码同步生成，节省30%文档维护时间。Kimi支持解析20万行代码库生成架构图，Tripo实现文字生成3D模型代码，拓展开发边界。腾讯、阿里等企业通过AI生成小程序全栈代码，自动处理跨端兼容性问题，开发周期缩短70%DeepSeek-R1支持基于企业代码库定制AI助手，实现私有化部署，适应特定开发规范。

2025-03-17 11:08:42 567

空空如也

空空如也