Popcorn丶30-CSDN博客

原创 LSMT 存储引擎浅析

通过Append-only Write+择机Compact来维护结构的索引树

2022-08-15 00:10:30 536 1

原创 Parquet 与 ORC：高性能列式存储

列式存储

2022-08-15 00:05:31 574

原创从 Kafka 到 Pulsar：数据流演进之路

消息队列、 Kafk、Pulsar详解

2022-08-10 23:07:31 473

原创数据湖三剑客Delt Lake、Hudi、Iceberg详解

数据湖三剑客Delt Lake、Hudi、Iceberg

2022-08-10 22:48:05 1071

原创深入浅出HBase

HBase是一个开源的NoSQL分布式数据库，对稀疏表提供更高的存储空间使用率和读写效率

2022-08-07 14:11:25 751

原创 HDFS高扩展机制

故障类型：硬件故障、软件故障、人为操作不当、机房断电、机房空调停机、机房网络拥塞可用性：99.9%，全年8.76小时不可用；99.99%，全年52.6分钟不可用；99.999%，全年5.26分钟不可用（难度高）

2022-08-07 11:28:33 558

原创 HDFS原理与应用

HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），分布式文件系统有大容量、高可靠和低成本的特点

2022-08-05 13:23:20 1038

原创 Presto架构原理

Presto是Facebook开源的查询分析引擎，在国内京东用的比较成熟。Presto数据处理能力到达PB级别，支持查询数据源有Hive、Kafka、Cassandra、Redis、Mongodb、SQL server等，在工作应用当中，Presto的查询性能比Hive要高40%以上。...

2022-08-03 15:53:00 281

原创大数据Shuffle原理

Shuffle原理

2022-08-01 14:48:28 2090

原创 Spark原理

Spark 是一种与 Hadoop 相似的开源集群计算环境，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

2022-07-31 17:55:05 606

原创流式计算中的window机制

流式计算中的window机制

2022-07-30 11:12:36 494

原创 Exactly Once(不丢不重)语义在Flink中的实现

青训营第3课Exactly Once语义在Flink中的实现

2022-07-29 11:20:27 573 1

原创流/批/OLAP一体的Flink引擎

第四届字节跳动青训营第2课流/批/OLAP一体的Flink引擎

2022-07-27 17:16:48 667

原创 SQL查询优化器浅析

字节跳动青训营第1天sql Optimizer

2022-07-24 22:46:55 167

原创 kafka丢不丢数据

kafka的选举机制，以及参数设定可以尽量保证数据安全，极端情况下，kafka全部宕机会丢数据

2022-07-22 21:59:26 917

原创 hashmap原理一篇就够

hashcode底层原理

2022-06-22 11:29:54 134 1

原创 JDK1.8 新特性

JDK1.8 新特性

2022-06-21 17:53:56 58

cblock1的博客