- 博客(589)
- 资源 (63)
- 收藏
- 关注
RSS订阅
原创 MySQL数据库面试题（2021最新版）
MySQL常用的存储引擎有什么区别？常用的存储引擎有以下：Innodb引擎：Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。MyIASM引擎(原本Mysql的默认引擎)：不提供事务的支持，也不支持行级锁和外键。MEMORY引擎：所有的数据都在内存中，数据的处理速度快，但是安全性不高。MyISAM与InnoDB区别MyISAMInnodb存储结构每张表被存放在三个文件：frm表格定义、MYD
2021-09-03 10:39:22
3272
55
原创 ⭐博客专家之路（已达成）
留个帖子记录我的博客专家之路2020-12-22很遗憾，你的「博客专家」申请未能通过。2020-12-22尊敬的 CSDN 用户，很遗憾你的「博客专家」申请未通过：博文整体较为系统完善，但仍偏基础理论层面，建议多丰富些工作学习中的一线实战经验分享，供开发者学习借鉴。请继续加油！。请继续加油，技术之路，我们共同成长！...
2021-07-22 20:55:52
930
15
原创 008.精读《Apache Paimon Docs - Table w/o PK》
如果一个表没有定义主键，那它就是一个附加表（与主键表相比，附加表无法直接接收变更日志，也不能直接通过 upsert 更新数据，只能接收附加数据。) WITH (本文详细介绍了Apache Paimon中附加表的概念和应用。我们首先定义了什么是附加表，并比较了它与主键表的区别。接着，我们探讨了附加表在不同场景下的使用，包括批量写入和读取、对象存储的友好性、时间穿越和回滚功能、低成本的删除和更新操作、流式接收中小文件的自动合并、队列形式的流式读写以及高性能查询。
2024-12-08 19:38:38
1073
原创 007.精读《Apache Paimon Docs - Table with PK》
在数据流入 Paimon 时，如果收到两个或多个具有相同主键的记录，Paimon 会将它们合并成一条记录以保持主键的唯一性。用户可以通过指定合并引擎（merge-engine）属性来选择如何合并这些记录。Flink SQL 配置：在 Flink SQL 的 TableConfig 中，将设置为NONE，因为启用可能会导致奇怪的行为。乱序处理：当输入数据无序时，建议使用序列字段（Sequence Field）来纠正乱序。默认引擎：去重合并引擎是 Paimon 的默认合并引擎。
2024-12-01 20:59:55
1038
原创 Apache Paimon: 主键表（Table with PK）
在数据库系统中，主键表是一种包含主键的表结构，主键用于唯一标识表中的每一行数据。Apache Paimon通过主键表支持大规模数据更新，并且具备高性能的更新能力。
2024-12-01 20:50:24
314
原创 006.精读《Apache Paimon Docs - Concepts》
由于篇幅问题，本篇就简答的介绍了Paimon的基础概念：包括快照、分区、分桶和一致性保证等。其组成结构涵盖文件布局（如快照文件、清单文件等）、存储结构（底层采用列式文件存储和LSM树结构）、读写方式（多种读取和写入模式）以及生态系统（支持多种计算引擎读取）。如果你想参与讨论，请 点击这里，每周都有新的主题，周末或周一发布。大数据精读，探索知识的深度。关注大数据精读周刊版权声明：自由转载-非商用-非衍生-保持署名（创意共享 3.0 许可证。
2024-11-17 20:14:11
1312
原创 粗读Apache Paimon 的基本概念及其组成结构
这样，即使多个写入操作同时进行，只要它们不影响到同一个桶，它们的操作就能像接力赛一样有序进行；中，快照就是数据表的“照片”，它记录了表在某一特定时间的状态。通过快照，你可以查看表的最新数据，或者像穿越时空一样，回到过去，查看表的旧版本。中，分桶就是将数据表或分区进一步细分为更小的部分，以便更有效地组织和查询数据。中的数据也是有序组织的。所有的文件都存放在一个基本目录下，并且按照一定的层次结构排列。中，写入数据的过程就像是在进行一场接力赛。的底层，数据以列式格式存储在文件系统或对象存储上，并利用。
2024-11-17 20:13:28
650
原创 005.精读《B-Tree vs LSM-Tree》
通过比较B+树和基于级别的LSM树在各种性能方面的表现，我们可以得出结论：基于级别的LSM树在写入性能上优于B+树，而在读取性能上则不如B+树。但是大多数组件选择使用LSM树而不是B树作为其底层存储引擎的主要原因是，利用缓存技术来提升读取性能要比提升写入性能容易得多。如果你想参与讨论，请 点击这里，每周都有新的主题，周末或周一发布。大数据精读，探索知识的深度。关注大数据精读周刊版权声明：自由转载-非商用-非衍生-保持署名（创意共享 3.0 许可证。
2024-11-10 20:07:32
842
原创 树形结构数据
树形结构数据是一种基础且强大的数据结构，广泛应用于计算机科学和软件开发的各个领域。它模拟了自然界中树的层级关系，通过节点和它们之间的连接来组织数据。在本文中，我们将深入探讨树形结构数据的概念、特点、类型以及它们在实际应用中的重要性。
2024-11-10 20:01:55
621
原创 004.精读《Bigtable: A Distributed Storage System for Structured Data》
综上所述，Bigtable论文在大数据领域产生了深远的影响，其设计理念也影响了开源社区，它不仅促进了NoSQL数据库的兴起，还对许多后来的大数据技术组件产生了直接的启发，包括HBase、MongoDB和Spark等。更重要的是，不仅仅是一篇学术论文，它更像是一本实践指南，指导我们在实际工作中如何更有效地存储和处理数据。最后，由于篇幅限制，一些数据验证的深入讨论并未在此展开。对于有兴趣进一步探索的读者，我建议精读全文以获得更全面的了解。获取原文。
2024-11-03 21:51:18
1174
原创 精读预告Bigtable
但是我们又会发现不同省级行政区的人口数量还不一致，中西部人口普遍少一些一张表可能够用，而沿海多一些可能就不够用，所以我们要进行水平拆分，所以我们可以进行水平拆分，将单张表的数据按照一定的规则分布到多个数据库或表中，每个表仅包含数据的一部分。如果我们只增加 2 台服务器，把各个服务器的分片，从模上 4 变成模上 6，我们就需要在增加服务器之后，搬运大量的数据，而数据迁移时，可能会遇到带宽和存储压力、服务中断、读写复杂性增加、资源浪费和成本问题。作为谷歌用于管理结构化数据的分布式存储系统，其独特的设计使得。
2024-11-03 21:31:59
330
原创 003.精读《MapReduce: Simplified Data Processing on Large Clusters》
综上所述，MapReduce编程模型通过用户定义的map和reduce函数，将复杂的数据处理任务转化为直观的操作，并自动并行化处理，极大提高了计算效率，尤其在大规模集群环境中表现出色。其内置的容错机制确保了数据处理的可靠性，使得MapReduce在文本分析、数据挖掘和网页索引等多个领域得到广泛应用。更重要的是，MapReduce降低了大数据技术的使用门槛，推动了数据处理效率的提升，并促进了大数据生态系统的发展，催生了诸如Hadoop等关键技术框架，为大数据的发展做出了深远的贡献。
2024-09-01 18:33:24
1296
2
原创 Google的MapReduce和Hadoop的MapReduce基本原理
随着 Hadoop 生态系统的发展，为了解决 Hadoop 1.x 版本中的可扩展性和资源管理问题，Hadoop 2.x 版本引入了 YARN（Yet Another Resource Negotiator）作为集群资源管理器。此外，Hadoop 3.x 引入了更多的优化和改进，例如改进的 Shuffle 机制、更好的资源隔离和更高效的数据本地化，以提高 MapReduce 作业的性能和可靠性。按中间键排序，并将每个唯一的中间键及其对应的值集合传递给用户定义的。的职责被拆分，其中作业调度和监控的职责由。
2024-09-01 18:32:36
1203
原创 002.精读《The Google File System》| 大数据的三驾马车之一：GFS
介绍了GFS（Google文件系统）的核心设计目标和关键特性。它强调了该系统如何有效处理大量分布式、容错和可扩展的数据存储需求，以支持Google的大规模数据处理应用程序。系统设计包括了容错性、性能优化和可扩展性等方面，适用于在数千台通用硬件设备上运行的大规模应用程序。目标：我们设计并实现了Google文件系统，这是一个可扩展的分布式文件系统，适用于大型分布式数据密集型应用。强调。
2024-08-25 20:00:36
896
原创 GFS系统架构
即使在这种情况下，数据也只是丢失而不是被错误地写入，应用程序可以接收到确定的异常信号，而不是错误的数据。任何对这些元数据的修改都会被详细记录在操作日志中，确保了数据变更的持久性和可审计性。，如数据块租约管理、孤立数据块的垃圾回收和数据块在服务器之间的迁移。不仅元数据的唯一持久记录，还充当了一个逻辑时钟，为系统内发生的事件提供了一个统一的时间戳序。，包括命名空间、访问控制信息、文件到数据块的映射以及数据块的当前存储位置。：如果客户端不仅能看到一致的状态，还知道修改后的具体内容，那么这个状态就被称为确定的。
2024-08-25 19:36:12
849
原创 001.精读《Big Data: A Survey》
本文全面回顾了大数据的背景、相关技术和应用。作者首先介绍了大数据的总体背景，并讨论了云计算、物联网、数据中心和Hadoop等技术。接着，重点介绍了大数据价值链的四个阶段：数据生成、获取、存储和分析，每个阶段都包括背景介绍、技术挑战讨论和最新进展回顾。最后，作者讨论了大数据在企业管理、物联网、社交网络、医疗、集体智能和智能电网中的应用，旨在为读者提供一个全面的视角。首先，通读本文后，我们至少可以了解到什么是大数据。大数据不仅仅指的是数据量大，而是那些无法在可接受范围内被普通计算机捕获、管理和处理的数据集。
2024-07-29 22:43:52
1083
原创 NAS、SAN 与 DAS 的比较与应用场景
NAS是一种连接到网络的存储设备，允许多个客户端通过网络访问存储资源。它通常使用标准网络协议（如NFS、SMB/CIFS）进行数据传输。SAN是一种专用的高速网络，用于连接服务器和存储设备。它提供了块级存储，使得存储资源看起来像是本地连接的。DAS是一种直接连接到单个计算机或服务器的存储设备，通常通过SCSI、SATA或USB接口。特性NASSANDAS连接方式网络（以太网）专用高速网络（光纤通道或iSCSI）直接连接（SCSI、SATA、USB）存储类型文件级存储块级存储块级存储扩展性。
2024-07-29 22:42:38
1150
原创 MySQL Binlog详解：提升数据库可靠性的核心技术
MySQLBin Log（Binary Log，二进制日志）是MySQL数据库的一种日志文件，用于记录对数据库执行的所有修改DML操作（例如INSERT、UPDATE、DELETE等），但不包括SELECT等DQL只读操作。Bin Log是MySQL实现复制、恢复和审计的重要工具。MySQL 中的 DDL、DML、DQL 和 DCLMySQLBin Log是一个强大的工具，广泛应用于数据恢复、复制和审计等场景。通过正确配置和使用Bin Log，可以大大提高MySQL数据库的可靠性和可用性。
2024-07-07 20:06:07
1474
原创 MySQL 中的 DDL、DML、DQL 和 DCL
DDL（Data Definition Language）用于定义和管理数据库结构或模式。这类语句主要包括创建、修改和删除数据库对象（如数据库、表、索引等）。命令描述示例CREATE创建数据库或表ALTER修改数据库对象DROP删除数据库或表TRUNCATE清空表数据CREATE：用于创建数据库和表。-- 创建数据库-- 创建表ALTER：用于修改已有的数据库对象。-- 修改表，添加新列-- 修改表，修改列数据类型DROP：用于删除数据库或表。-- 删除数据库-- 删除表。
2024-07-07 20:03:32
893
原创 数据倾斜优化：Hive性能提升的核心
数据倾斜，也称为Data Skew，是在分布式计算环境中，由于数据分布不均匀导致某些任务处理的数据量远大于其他任务，从而形成性能瓶颈的现象。这种情况在Hive中尤为常见，可能发生在MapReduce作业的Map或Reduce阶段。就好比像是在一个拥挤的超市里，所有的顾客都挤在一个收银台前排队结账，而其他的收银台却几乎没有人。这种情况在数据处理中也会发生，我们称之为“数据倾斜想象一下，你有一个巨大的数据集，需要分成很多小块来同时处理（这就像超市开了很多个收银台）。
2024-06-30 23:09:00
942
原创 Wails 安装初体验
如果遇到网络问题可以， 这时如果连接不到proxy.golang.org 的话可以切换国内源。通过上述步骤，你可以轻松安装和使用 Wails 来开发跨平台桌面应用。如果遇到问题，请查看。Wails 是一个用于构建桌面应用的 Go 框架，结合了现代前端技术。确保系统上已安装 Go 和 Node.js。构建完成后，应用程序的可执行文件将位于。这将启动开发服务器并打开应用窗口。根据提示选择项目模板并配置项目。同时记得配上PATH。以获取更多详细信息。
2024-06-30 23:08:10
1757
2
原创 元数据：数据的罗塞塔石碑
元数据（Metadata）是描述数据的数据。它详细说明了数据的属性、上下文、来源、结构和使用方法。简单来说，元数据就像是数据世界里的导游，它告诉我们数据的来龙去脉。元数据不仅捕捉了数据从诞生到被使用的每一个步骤，还详细记录了数据的结构和数据流转的路径。在数据仓库的日常操作中，元数据就像是一个智能的助手，它让数据管理员和开发者能够轻松定位到他们需要的数据。这不仅让数据管理和开发工作变得更加得心应手，还显著提升了工作效率。元数据的作用描述理解数据的起源和含义。
2024-06-17 21:21:33
1043
原创 SQL160 国庆期间每类视频点赞量和转发量
用户-视频互动表tb_user_video_log（uid-用户ID, video_id-视频ID, start_time-开始观看时间, end_time-结束观看时间, if_follow-是否关注, if_like-是否点赞, if_retweet-是否转发, comment_id-评论ID）短视频信息表tb_video_info（video_id-视频ID, author-创作者ID, tag-类别标签, duration-视频时长, release_time-发布时间）问题：统计2021年国庆头3
2024-06-17 21:20:40
707
原创 数据仓库核心：事实表深度解析与设计指南
事实表是数据仓库中的核心，它与维度表相对应，存储了业务过程中量化的数据，也就是我们通常所说的度量值（measures度量值：这些是事实表中的主要数据，可以进行数值计算，如销售额、订单数量、产品单价等。维度键：这些是指向维度表的外键，通过它们，事实表与维度表相连，从而为度量值提供上下文信息。上下文信息：提供额外的业务信息，如时间戳、事务ID等。粒度”描述了事实表中每条记录所捕捉到的业务细节的深度。它可以通过两个维度来衡量：首先是维度属性的组合，它们决定了数据条目的详细程度；
2024-06-10 10:53:06
1870
1
原创 SQL159 每个创作者每月的涨粉率及截止当前的总粉丝量
示例数据中表tb_user_video_log里只有视频2001和2002的播放记录，都来自创作者901，播放时间在2021年9月和10月；其中10月里加粉量为2，掉份量为1，播放量为4，因此涨粉率为0.250，截止当前总粉丝数为2。
2024-06-10 10:50:30
1062
1
原创 数据仓库核心：维度表设计的艺术与实践
说回维度表，它承载着丰富的描述性信息，是连接事实表的桥梁。主键：它是维度表的“身份证”，一个独特的标签，确保了每一行数据的唯一性。描述性属性：这些属性是维度表的灵魂，它们描绘了维度的细节，比如时间的流逝、地点的特色、产品的特性等。其就像一个精心编排的目录，它通过主键来确保每个条目都是独一无二的。这个主键就像是一把钥匙，不仅打开了数据的大门，还确保了与它相连的任何事实表之间的联系是牢固和完整的。代理键和自然键，它们都是用来标识维度表中的特定条目的。想象一下，代理键。
2024-06-02 21:00:40
1255
原创 SQL158 每类视频近一个月的转发量/率
统计在有用户互动的最近一个月（按包含当天在内的近30天算，比如10月31日的近30天为10.2~10.31之间的数据）中，每类视频的转发量和转发率（保留3位小数）。
2024-06-02 20:59:52
878
原创 大数据Hive中的UDF：自定义数据处理的利器（下）
本文我们详细解析了UDAF和UDTF在Hive中的应用。通过实际代码示例，我们展示了UDAF如何帮助我们深入分析数据，以及UDTF如何简化复杂的数据转换任务。如果您对UDAF、UDTF或Hive的其他高级功能有疑问，或者想要更深入地讨论，欢迎在文章下留言或直接联系我们。期待我们的下一次分享，一起在大数据的世界里探索新知。我们下次见！
2024-05-20 21:26:20
1137
原创 大数据Hive中的UDF：自定义数据处理的利器（上）
在大数据技术栈中，扮演着数据仓库的关键角色，它提供了丰富的数据操作功能，并通过类似于SQL的HiveQL语言简化了对Hadoop数据的处理。然而，内置函数库虽强大，却未必能满足所有特定的业务逻辑需求。此时，用户定义函数（UDF）的重要性便凸显出来。Hive UDF）是Hive中的一种扩展机制，它允许用户通过编写自定义的Java代码来扩展Hive的功能，实现Hive内置函数无法提供的一些特定数据处理逻辑。在深入探讨Hive UDF的实现之前，让我们首先确保开发环境的准备妥当。对于UDF的编写，推荐使用。
2024-04-21 21:28:54
2780
1
原创 SQL156 各个视频的平均完播率
视频2001在2021年10月有3次播放记录，观看时长分别为30秒、24秒、34秒，视频时长30秒，因此有两次是被认为完成播放了的，故完播率为0.667；
2024-04-21 21:24:56
849
原创 解锁数据潜能：深入理解数据仓库建模及其模型对比
在选择数据仓库建模方法时，企业需要考虑多种因素，包括项目的紧急程度、数据的复杂性、预算限制以及未来的扩展性。每种建模方法都有其优势和局限性。Kimball方法适合快速交付和用户友好的BI解决方案，而Inmon方法更适合需要长期维护和企业级数据管理的场景。Data Vault方法提供了一种灵活的扩展性，而Anchor则专注于核心业务的稳定性。数据湖模型则适用于需要处理大量非结构化数据的场景。无论选择哪种方法，关键是确保数据模型能够支持企业的长期目标和决策需求。
2024-03-24 21:21:12
933
原创 数据仓库核心：揭秘事实表与维度表的角色与区别
在本篇博文中，我们深入探讨了数据仓库中事实表和维度表的关键角色与它们之间的显著差异。事实表，作为数据仓库的心脏，承载着量化的业务度量，而维度表则为这些度量提供了必要的上下文和解释。这种精心设计的结构不仅使我们能够高效地存储和检索数据，而且还能更加灵活和深入地进行数据分析，为企业的决策提供强有力的支持。最终，理解事实表和维度表的真正价值在于它们如何共同作用，帮助我们从数据中提取出有意义的洞察，推动业务的持续增长和创新。
2024-03-17 21:46:37
5277
2
原创 JZ77按之字形顺序打印二叉树
import java.util.*;/*public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val; }}*/public class Solution { public ArrayList<ArrayList<Integ.
2024-03-17 21:44:56
227
原创 Jz32从上往下打印二叉树
//add()和remove()方法在失败的时候会抛出异常(不推荐)// 用offer 和poll 替代import java.util.ArrayList;import java.util.*;/**public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val;.
2024-03-17 20:54:46
190
原创 深入理解Hive：探索不同的表类型及其应用场景
在本文中，我们深入探讨了Hive数据仓库中的表类型，包括内部表、外部表、分区表、桶表、视图以及临时表。每种表类型都有其独特的特性和适用场景，它们共同构成了Hive强大的数据管理能力。内部表和外部表主要根据数据存储位置和生命周期管理来区分。内部表的数据与Hive的元数据紧密关联，而外部表则允许数据在Hive之外独立存在。分区表和桶表则专注于查询优化，通过数据的逻辑和物理分割来提高查询效率。视图提供了一种灵活的数据抽象方式，而临时表则用于处理会话级别的数据存储需求。
2024-03-10 20:51:56
1853
原创 JZ35 复杂链表的复制
/*public class RandomListNode { int label; RandomListNode next = null; RandomListNode random = null; RandomListNode(int label) { this.label = label; }}*/public class Solution { public RandomListNode Clone(RandomListNod.
2024-03-10 20:25:05
257
原创 JZ76 删除链表中重复的结点
/* public class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}*/import java.util.*;public class Solution { public ListNode deleteDuplication(ListNode pHead) { //初步想想法： 弄.
2024-03-10 20:24:12
183
原创 scala入门到放弃—06—高阶函数
文章目录高级函数字符串匿名函数Currying函数高阶函数高级函数字符串插值 val s ="hello" val name="jacksun" println(s+name) println(s+":"+name) println(s"hello:$name")多行字符串 //多行， var d = """ |1 |2 |3 |4 |5 |5 |6 """.st
2024-01-17 21:26:34
407
Git-2.30.2-32-bit.exe.zip（免积分）
2021-03-11
毕业设计，问答系统，百度知道，有代码，有数据库，有演示。（免积分）
2021-03-11
gallery.7z
2021-01-29
Git-2.29.2.3-64-bit.exe (免积分)
2020-12-27
大数据环境软件安装包
2020-07-28
火狐国际版(量子)Firefox Setup 58.0.1
2018-02-05
Python数据分析与挖掘实战(PDF+源代码).zip
2018-02-05
机器学习实战(中文版+英文版+源代码)
2018-01-31
机器学习实战.pdf
2018-01-23
自然语言处理数据集（初中和高中数学）
2022-03-22
PHP毕业设计——许愿墙升级版（有源码）
2022-01-05
putty-64bit-0.75-installer、nacos-server-1.2.1、WinSCP-5.19-Setup、phpStudy_64
2021-07-26
408-2018-2009真题 打印无水印
2021-06-03
《巨人的陨落》人物表.pdf
2021-06-03
word1575破解助记左右神表何凯文刘一男(终稿).docx
2021-06-03
book118Downloader.zip
2021-06-03
Downloads.7z
2021-05-24
pdf2htmlEX-win32-0.14.6-upx-with-poppler-data (2).zip
2021-03-30
GitHubDesktopSetup.exe
2021-03-29
Xshell-7.0.0056p.exe.zip(免积分)
2021-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人