数据存储
文章平均质量分 84
Cherry Xie
喜欢学习,只是因为知识能让我更好地理解与处理遇到的事情
展开
-
离线数仓之MaxCompute
MaxCompute(原名ODPS,Open Data Processing Service)是一种典型的离线数仓解决方案。它是由阿里巴巴集团自主研发的大数据计算和存储平台,旨在支持大规模数据处理和分析。对于实时数据处理,MaxCompute本身并不是一个适用的解决方案,因为它主要专注于离线批处理任务。MaxCompute 提供了一个高度可扩展的分布式计算引擎,可以处理EB级别的结构化和非结构化数据。原创 2024-06-01 08:48:12 · 651 阅读 · 0 评论 -
StarRocks、Hive、Druid、ClickHouse
Druid是一种多维度、列式存储的数据存储和查询引擎,专注于实时分析和快速查询。它支持高度聚合的数据模型,适用于OLAP(联机分析处理)场景。原创 2024-05-30 08:54:53 · 355 阅读 · 0 评论 -
数据挖掘之归一化
在数据分析和机器学习中,归一化(Normalization)是一个常见的数据预处理技术。归一化的目的是将数据特征缩放到一个共同的尺度上,以便于后续的分析和建模。归一化也称为最小-最大规范化公式:x′maxx−minxx−minx其中x′是归一化后的数值,x是原始数值,minx和maxx分别是特征的最小值和最大值归一化后,数据会被映射到 [0, 1] 区间内常用于需要限制数据在特定范围内的场景,如图像处理、推荐系统等。原创 2024-05-28 08:45:00 · 998 阅读 · 0 评论 -
实时分析数据库之Druid
Druid是一个开源的实时分析数据存储和查询引擎,专门设计用于快速查询和分析大规模的实时和历史数据。它最初由MetaMarkets开发并于2015年开源。原创 2024-05-20 09:58:22 · 1636 阅读 · 0 评论 -
数据仓库之ClickHouse
这种列式存储的特点使得ClickHouse在查询时可以只读取和处理所需的列数据,减少了不必要的数据读取和处理开销,提高了查询性能。你可以使用多种方式将数据加载到ClickHouse中,如使用ClickHouse提供的命令行工具、使用ClickHouse的客户端驱动程序编写自定义的数据导入脚本,或者使用ETL工具等。它可以处理海量的数据,并提供快速的查询和聚合功能,以支持复杂的数据分析任务。ClickHouse提供了近实时的数据处理和查询能力,可以在数据不断写入时进行并行的数据分析和查询操作。原创 2024-05-18 09:07:31 · 632 阅读 · 0 评论 -
redis查看一个key占用了多少内存
要查看 Redis 中一个键(key)占用的内存大小,可以使用 Redis 的 MEMORY USAGE 命令。该命令会返回指定键的内存占用大小(以字节为单位)。原创 2024-05-17 11:16:19 · 306 阅读 · 0 评论 -
行式存储与列式存储
行式存储将完整的记录按行存储,使得随机写入和事务处理更加高效。当需要频繁进行数据插入、更新和删除操作时,行式存储通常更为合适。原创 2024-05-17 11:13:38 · 823 阅读 · 0 评论 -
数据仓库之StarRocks
Palo,中国的互联网公司百度开发并开源的,后更名为doris。StarRocks是一款由doris的一个分支演化而来的、开源分布式列式存储数据库。旨在提供高性能、高可靠性和低延迟的大数据分析和查询服务。原创 2024-05-16 08:48:32 · 1036 阅读 · 0 评论 -
redis并发之跳表
跳表(Skip List)是一种用于实现有序集合(Sorted Set)的数据结构,在 Redis 中被广泛应用。跳表的设计旨在提供高效的有序集合操作,可以将跳表理解为基于二分查找的索引结构。跳表通过构建多层索引,每一层索引都是前一层索引的子集,形成一种分层递进的结构。每个索引节点中存储了对应层级的元素,通过这些索引节点可以快速定位到目标元素所在的区间,然后在目标区间内进行二分查找。跳表的多层索引结构相当于在有序集合中建立了一系列的二分查找表,这样可以在进行查找操作时快速减少搜索范围,从而提高查找效率。原创 2024-05-12 08:45:00 · 840 阅读 · 0 评论 -
OLAP与OLTP
OLTP(联机事务处理,Online Transaction Processing)是一种数据库处理方式,用于支持日常的交易和操作。它主要用于处理实时的、交互式的、频繁的数据库事务操作,例如在线购物、银行交易、航班预订等。原创 2024-05-10 08:45:00 · 244 阅读 · 0 评论