![](https://img-blog.csdnimg.cn/1bd5fe091c894508a60345d73c115649.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Impala
文章平均质量分 89
主要分享一些个人阅读Apache Impala代码时的阅读笔记
Eyizoha
打工人
展开
-
Impala4.x源码阅读笔记(三)——Impala如何管理Iceberg表元数据
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。上一篇文章Impala4.x源码阅读笔记(二)——Impala如何高效读取Iceberg表简单介绍了Iceberg表的基本情况和Impala是如何对其进行扫描的。原创 2023-12-29 17:14:13 · 1095 阅读 · 0 评论 -
Impala4.x源码阅读笔记(二)——Impala如何高效读取Iceberg表
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。Iceberg表是一种用于存储大规模结构化数据的开源表格式,旨在提供高效的数据存储和丰富的查询能力。不同于Parquet,Orc等文件格式定义了数据如何在文件中存储和索引,Iceberg作为一种表格式定义的是数据文件如何组织,换句话说就是一系列的数据文件如何构成一张表以及我们如何从大量数据文件中找到我们需要的。原创 2023-12-13 16:00:18 · 1235 阅读 · 0 评论 -
Impala4.x源码阅读笔记(一)——HdfsTextScanner解析
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。在文章Impala3.4源码阅读笔记(七)——解析ScanNode(上)及其后续文章中,我们分析了ScanNode制定单节点执行计划,将SQL转换为一颗包含若干不同计划结点PlanNode的计划树PlanTree;制定分布式执行计划,将单节点计划树拆分为若干片段Fragment,以便在分布式集群上分配调度;分配与调度执行计划片段到执行节点;原创 2023-12-12 15:27:58 · 185 阅读 · 0 评论 -
Impala3.4源码阅读笔记(九)解析ScanNode(下)
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-06 11:44:43 · 324 阅读 · 0 评论 -
Impala3.4源码阅读笔记(八)解析ScanNode(中)
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-06 11:44:30 · 323 阅读 · 0 评论 -
Impala3.4源码阅读笔记(七)解析ScanNode(上)
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-06 10:29:52 · 439 阅读 · 1 评论 -
Impala3.4源码阅读笔记(五)统计信息
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误或者遗漏之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-05 14:09:57 · 490 阅读 · 0 评论 -
Impala3.4源码阅读笔记(六)ScanRange分配
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-05 14:21:17 · 189 阅读 · 1 评论 -
Impala3.4源码阅读笔记(四)file-handle-cache功能
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误或者遗漏之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-05 11:46:39 · 182 阅读 · 0 评论 -
Impala3.4源码阅读笔记(三)data-cache的Store实现
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误或者遗漏之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-05 11:35:03 · 160 阅读 · 0 评论 -
Impala3.4源码阅读笔记(二)data-cache的Lookup实现
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误或者遗漏之处。如果有任何错误或者有更好的见解,欢迎指正。原创 2023-07-05 11:19:37 · 173 阅读 · 0 评论 -
Impala3.4源码阅读笔记(一)data-cache功能
本文为笔者个人阅读源码时的笔记,仅代表我个人对代码的理解,个人水平有限,文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解,欢迎指正。基本信息data-cache是impala在本地的数据缓存,采用LRU策略存储频繁使用的表数据,避免每次使用都要从HDFS再次读取,从而加快数据读取速度。data-cache可以包括多个缓存分区,分区大小配额和存放路径通过参数配置,可参考。模块结构data-cache功能由DataCache。原创 2023-07-05 10:23:13 · 533 阅读 · 1 评论