CMU 15-445/645 Lab3-Query Execution

0.写在前面

Lab3的地址:https://15445.courses.cs.cmu.edu/fall2020/project3/
本文主要总结一下在写Lab3需要的基础知识以及Task的解决思路(不公开代码,如果有问题可以留言)。

1.Task #1 - SYSTEM CATALOG

数据库维护一个内部目录(catalog)记录了整个数据库中的table和index信息。
有了catalog,我们就可以从table/index的名字或id,找到这个table/index的指针,以及各种metadata。
s r c / i n c l u d e / c a t a l o g / c a t a l o g . h src/include/catalog/catalog.h src/include/catalog/catalog.h中实现Table和Index的Create和Get:
CreateTable(Transaction *txn, const std::string &table_name, const Schema &schema)
GetTable(const std::string &table_name)
GetTable(table_oid_t table_oid)

CreateIndex(txn, index_name, table_name, schema, key_schema key_attrs, keysize)
GetIndex(const std::string &index_name, const std::string &table_name)
GetIndex(index_oid_t index_oid),
GetTableIndexes(const std::string &table_name)

第一个任务不是特别的难,但是要注意几点:
1)注意维护几个Hash_table
2)index_Info函数需要一个Index的unique_ptr需要new一个BPlusTreeIndex传入.
在这里插入图片描述

TASK #2 - EXECUTORS

实验的整体难度不是特别大,但是要理清执行的逻辑和各类之间的关系。

2.1 executor执行流程

首先是在execution_engine.h中的函数Execute():
第一个参数(AbstractPlanNode *plan):executor对应的planNode。
第二个参数(std::vector *result_set):存放结果。
第三个参数(Transaction *txn):事务。
第四个参数(ExecutorContext *exec_ctx):exec_ctx是当前执行的上下文,记录了bfp,log manager,lock manager,catalog和txnmanager。其中最重要是catalog,catalog中有Tables和Indexs等等。

// execution_engine.h
bool Execute(const AbstractPlanNode *plan, std::vector<Tuple> *result_set, Transaction *txn,
               ExecutorContext *exec_ctx) {
    // construct executor
    auto executor = ExecutorFactory::CreateExecutor(exec_ctx, plan);

    // prepare
    executor->Init();

    // execute
    try {
      Tuple tuple;
      RID rid;
      while (executor->Next(&tuple, &rid)) {
        if (result_set != nullptr && tuple.IsAllocated()) {
          result_set->push_back(tuple);
        }
      }
    } catch (Exception &e) {
      // TODO(student): handle exceptions
    }

    return true;
  }

接着工厂模式ExecutorFactory::CreateExecutor(),根据传入的planNode的类型,使用dynamic_cast将planNode转换成对应类型的planNode(父类指针转换成子类指针),调用对应的executor的构造函数创建executor。然后调用executor的init方法初始化executor,重复执行next方法,next返回true则将结果存入result_set并继续执行next, next返回false 则结束。所以后面的任务就是实现每个executor的init和next方法

// executor_factory.cpp
std::unique_ptr<AbstractExecutor> ExecutorFactory::CreateExecutor(ExecutorContext *exec_ctx,
                                                                  const AbstractPlanNode *plan) {
  switch (plan->GetType()) {
    // Create a new sequential scan executor.
    case PlanType::SeqScan: {
      return std::make_unique<SeqScanExecutor>(exec_ctx, dynamic_cast<const SeqScanPlanNode *>(plan));
    }
...
}

AbstractPlanNode
这是所有PlanNode的父类。对应的有一个枚举类PlanType,表示所有可能的PlanNode类型。AbstractPlanNode只有两个成员变量,一个是output_shcema,在Next返回tuple(如果需要返回tuple)时可以根据output_schema选择输出tuple的哪几个column(相当于select)。另一个是vector children_, 里面有所有children的常量指针。

/** PlanType represents the types of plans that we have in our system. */
enum class PlanType { SeqScan, IndexScan, Insert, Update, Delete, Aggregation, Limit, NestedLoopJoin, NestedIndexJoin };

2.2 各个类之间的关系

exec_ctx[bfp, log manager, lock manager, catalog, txnmanager]
catalog:[tablesindexes]
tables:[id,table_metadata]
table_metadata:[shema(表,索引,外键等等), name, table_(table_heap)(pages组成的链表), id]

indexes:[id,index_info]
index_info:[shema, name, index_, id, table_name, key_size]

2.3 SEQUENTIAL SCAN

sequential node继承自abstract node,多了两个私有变量。一个是predicate,是用来过滤不符合条件的tuple。比如where id < 5 就是一个predicate。另一个变量是table_oid_,指明了要扫描的表的id。

  const AbstractExpression *predicate_;
  /** The table whose tuples should be scanned. */
  table_oid_t table_oid_;

在2.1中execute的执行流程中,我们首先construct executor,再进行Init(),最后调用Next()获取Tuple.
所以在construct executor时候获得table_meta_data,init()的时候获得table迭代器,table_iterator支持对表顺序扫描,指向当前尚未遍历的第一个tuple。
在Next()函数中我们首先找到当前迭代器指向的第一个符合要求的tuple,然后输出新的tuple。
1)在寻找第一个符号要求的tuple的时候注意,GetPredicate是父类AbstractExpression指针,调用GetPredicate的虚函数Evaluate(),会根据具体的子类类型调用子类的虚函数Evaluate(),返回一个Value类型的结果。调用这个Value类的GetAs函数即可得到该tuple是否满足要求。不满足就继续下一个tuple。
2)在获得新的tuple的时候要注意,并不能直接把table_iterator返回的tuple直接作为结果,因为plan中的OutputSchema可能仅仅是table_iterator返回的tuple的一个projection。

我们可以在Executor_test中一个一个测试样例。
在这里插入图片描述

2.4 INDEX SCANS

IndexScan与SeqScan逻辑是类似的,区别在于把TableIterator换成IndexIterator。可以从index_info获得table_name_。

2.5 INSERT

Insert操作是将元组添加到表中。
这里需要注意我们首先需要根据InsertPlanNode的类型来判断child是否有tuple需要插入。
例子:INSERT INTO empty_table2
(SELECT colA, colB FROM test_1 WHERE colA > 500)
【 child对应select】
每次获得一个tuple之后需要将tuple同步到所有的index中,调用index_->InsertEntry。

//如果将insert值直接嵌入到计划中,则为true;
//如果是child plan提供tuple,则为false
plan_->IsRawInsert()
2.6 Update

Update操作是修改指定表中的tuple。
1)通过child_executor_获取下一个需要更新的tuple。
2)调用GenerateUpdatedTuple得到新生成的tuple。
3)调用tableHeap的updataTuple在表中更新tuple,再在所有的索引中删除原来的tuple,插入新的tuple,返回tuple的RID即可。

2.7 Delete

Delete是删除指定表中的tuple。
1)通过child_executor_获取下一个需要删除的tuple。
2)通过table的MarkDelete来标记tuple。然后更新 tnx write set.(这里MarkDelete的意思是使tuple invisable,并不真的删除它。只有在事务提交的时候才真的删除。这样如果事务还没提交就abort了,回滚时只需要将mark的标志撤销)
3)更新索引。

2.8 Join

例子:

SELECT test_1.colA, test_1.colB, test_2.col1, test_2.col3 
FROM test_1 JOIN test_2 ON test_1.colA = test_2.col1 AND test_1.colA < 50

2.8.1 Nested Loop Join
Nested Loop Join的实现就是从遍历两张表,对于外查询的每个Tuple在内表中遍历查看是否有相等。

2.8.2 Index Nested Loop Join
Index Nested Loop Join是利用innerTable的索引查找符合 JOIN 条件的。

2.9 Aggregation

例子:

SELECT COUNT(colA), SUM(colA), min(colA), max(colA) from test_1;

可以直接使用官方已经写好的SimpleAggregationHashTable来实现。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值