openGauss数据库源码解析系列文章—— AI技术之“智能索引推荐”_pg_catalog(6)

最新推荐文章于 2024-08-30 15:23:00 发布

2401_84558442

最新推荐文章于 2024-08-30 15:23:00 发布

阅读量920

点赞数 11

分类专栏：程序员文章标签：网络安全学习面试

本文链接：https://blog.csdn.net/2401_84558442/article/details/138778439

版权

程序员专栏收录该内容

176 篇文章 0 订阅

订阅专栏

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：
在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

            add_index_from_group_order(g_driver_table, stmt->groupClause, stmt->targetList, true);
        /* 处理ORDER子句，如果满足条件，则将其中的谓词添加为候选索引 */
        } else if (parse_order_clause(stmt->sortClause, stmt->targetList)) {
            add_index_from_group_order(g_driver_table, stmt->sortClause, stmt->targetList, false);
        }
        // 如果是多表查询，则根据保存的join关系为被驱动表添加候选索引
        if (g_table_list->length > 1 && g_driver_table) {
            add_index_for_drived_tables();
        }
        /* 对全局变量中的每个table依次进行处理，函数generate_final_index将前述过程生成的候选索引进行字符串拼接，并检查和已存在的索引是否重复 */
        ListCell *table_item = NULL;

        foreach (table_item, g_table_list) {
            TableCell *table = (TableCell *)lfirst(table_item);
            if (table->index != NIL) {
                Oid table_oid = find_table_oid(query_tree->rtable, table->table_name);
                if (table_oid == 0) {
                    continue;
                }
                generate_final_index(table, table_oid);
            }
        }
        g_driver_table = NULL;
    }
}

……
return array;
}


虚拟索引的核心功能全部位于hypopg\_index.cpp文件中。用户通过SQL语句调用系统函数hypopg\_create\_index来创建虚拟索引，该系统函数主要通过调用hypo\_index\_store\_parsetree函数来完成虚拟索引的创建。虚拟索引的结构体名为hypoIndex，该结构体的许多字段是从它涉及的表的RelOptInfo结构体中读取的，hypoIndex的结构如下：

typedef struct hypoIndex {
Oid oid; /* 虚拟索引的oid，该oid是唯一的 /
Oid relid; / 涉及的表的oid */
…
char indexname; / 虚拟索引名 */

BlockNumber pages; /* 预估索引使用的磁盘页数 */
double tuples;     /* 预估索引所涉及的元组数目 */

/* 索引描述信息 */
int ncolumns;         /* 涉及的总列数 */
int nkeycolumns;      /* 涉及的关键列数 */
… 
Oid relam;            /* 记录索引操作回调函数的元组的oid, 从pg_am系统表中获取的 */
…

} hypoIndex;


函数hypo\_index\_store\_parsetree的输入参数为创建索引的SQL语句和其语法树，依据该语句的解析结果来创建新的虚拟索引，代码如下：

hypoIndex *hypo_index_store_parsetree(IndexStmt *node, const char queryString)
{
……
// 获得创建索引的表的oid
relid = RangeVarGetRelid(node->relation, AccessShareLock, false);
……
// 对该创建索引的语句进行语法解析
node = transformIndexStmt(relid, node, queryString);
……
// 新建虚拟索引，该虚拟索引的结构体类型hypoIndex定于位于文件openGauss-server/src/include/dbmind/hypopg_index.h，与索引结构体IndexOptInfo类似
entry = hypo_newIndex(relid, node->accessMethod, nkeycolumns, ninccolumns, node->options);
// 根据语法树的解析结果为虚拟索引entry内的各个成员赋值
PG_TRY();
{
……
entry->unique = node->unique;
entry->ncolumns = nkeycolumns + ninccolumns;
entry->nkeycolumns = nkeycolumns;
……
}
PG_CATCH();
{
hypo_index_pfree(entry);
PG_RE_THROW();
}
PG_END_TRY();
// 设置虚拟索引的名字
hypo_set_indexname(entry, indexRelationName.data);
// 将新建的虚拟索引entry添加到虚拟索引的全局链表hypoIndexes上，该全局变量为节点类型为hypoIndex的List链表，记录了全部创建过的虚拟索引
hypo_addIndex(entry);

return entry;

}
// 该函数被赋值给全局的函数指针get_relation_info_hook，当数据库执行EXPLAIN时，会通过该函数指针跳转到本函数
void hypo_get_relation_info_hook(PlannerInfo *root, Oid relationObjectId, bool inhparent, RelOptInfo rel)
{
/ 判断是否开启GUC参数enable_hypo_index，当SQL语句是EXPLAIN命令时，变量isExplain的值为真 */
if (u_sess->attr.attr_sql.enable_hypo_index && isExplain) {
Relation relation;

    relation = heap_open(relationObjectId, AccessShareLock);

    if (relation->rd_rel->relkind == RELKIND_RELATION) {
        ListCell *lc;
        /* 遍历全局变量链表hypoIndexes中的每个创建过的虚拟索引 */
        foreach (lc, hypoIndexes) {
            hypoIndex *entry = (hypoIndex *)lfirst(lc);
            // 判断该虚拟索引和该表是否匹配
            if (hypo_index_match_table(entry, RelationGetRelid(relation))) {
                // 如果匹配，则将该索引加入该表的indexlist中，indexlist是节点类型为IndexOptInfo的链表，是结构体类型RelOptInfo的成员，记录了表的所有的索引
                hypo_injectHypotheticalIndex(root, relationObjectId, inhparent, rel, relation, entry);
            }
        }
    }
    heap_close(relation, AccessShareLock);

}
……
}


### 8.4.5 使用示例


#### 1. 单条查询语句的索引推荐


单条查询语句的索引推荐功能支持用户在数据库中直接进行操作，本功能基于查询语句的语义信息和数据库的统计信息，对用户输入的单条查询语句生成推荐的索引。本功能涉及的函数接口如表8-9所示。



 表8-9 单query索引推荐功能的函数接口 



| 函数名 | 参数 | 返回值 | 功能 |
| --- | --- | --- | --- |
| gs\_index\_advise | SQL语句字符串 | 无 | 针对单条查询语句生成推荐索引（该版本只支持B树索引） |


使用上述函数，获取针对该query生成的推荐索引，推荐结果由索引的表名和列名组成。

opengauss=> select * from gs_index_advise(‘SELECT c_discount from bmsql_customer where c_w_id = 10’);
table | column
----------------±---------
bmsql_customer | (c_w_id)
(1 row)


上述结果表明：应当在bmsql\_customer的c\_w\_id列上创建索引，例如可以通过下述SQL语句创建索引。

CREATE INDEX idx on bmsql_customer(c_w_id);


某些SQL语句，也可能被推荐创建联合索引，例如：

opengauss=# select * from gs_index_advise(‘select name, age, sex from t1 where age >= 18 and age < 35 and sex = ‘‘f’’;’);
table | column
-------±-----------
t1 | (age, sex)
(1 row)


上述语句结果表明应该在表t1上创建一个联合索引(age, sex)，可以通过下述命令创建该索引，并将其命名为idx1。

CREATE INDEX idx1 on t1(age, sex);


#### 2. 虚拟索引


虚拟索引功能支持用户在数据库中直接进行操作，该功能模拟真实索引的建立，避免真实索引创建所需的时间和空间开销，用户基于虚拟索引，可通过优化器评估该索引对指定查询语句的代价影响。  
 虚拟索引功能涉及的系统函数接口如表8-10所示。



 表8-10 虚拟索引功能的接口 



| 函数名 | 参数 | 返回值 | 功能 |
| --- | --- | --- | --- |
| hypopg\_create\_index | 创建索引语句的字符串 | 无 | 创建虚拟索引 |
| hypopg\_display\_index | 无 | 结果集 | 显示所有创建的虚拟索引信息 |
| hypopg\_drop\_index | 索引的oid | 无 | 删除指定的虚拟索引 |
| hypopg\_reset\_index | 无 | 无 | 清除所有虚拟索引 |
| hypopg\_estimate\_size | 索引的oid | 整数型 | 估计指定索引创建所需的空间大小 |


本功能涉及的GUC参数如表8-11所示。



 表8-11 GUC参数 




|  |  |  |  |  |
| --- | --- | --- | --- | --- |
| 参数名 | 级别 | 功能 | 类型 | 默认值 |
| enable\_hypo\_index | PGC\_USERSET | 是否开启虚拟索引功能 | bool | off |


（1） 使用hypopg\_create\_index函数创建虚拟索引。例如：

opengauss=> select * from hypopg_create_index(‘create index on bmsql_customer(c_w_id)’);
indexrelid | indexname
------------±------------------------------------
329726 | <329726>btree_bmsql_customer_c_w_id
(1 row)


（2） 开启GUC参数enable\_hypo\_index，该参数控制数据库的优化器进行EXPLAIN时是否考虑创建的虚拟索引。通过对特定的查询语句执行explain，用户可根据优化器给出的执行计划评估该索引是否能够提升该查询语句的执行效率。例如：

opengauss=> set enable_hypo_index = on;
SET


开启GUC参数前，执行EXPLAIN+查询语句，如下所示：

opengauss=> explain SELECT c_discount from bmsql_customer where c_w_id = 10;
QUERY PLAN

Seq Scan on bmsql_customer (cost=0.00…52963.06 rows=31224 width=4)
Filter: (c_w_id = 10)
(2 rows)


开启GUC参数后，执行EXPLAIN+查询语句，如下所示：

opengauss=> explain SELECT c_discount from bmsql_customer where c_w_id = 10;
QUERY PLAN

[Bypass]
Index Scan using <329726>btree_bmsql_customer_c_w_id on bmsql_customer (cost=0.00…39678.69 rows=31224 width=4)
Index Cond: (c_w_id = 10)
(3 rows)


通过对比两个执行计划可以观察到，该索引预计会降低指定查询语句的执行代价，用户可考虑创建对应的真实索引。  
 （3） （可选）使用hypopg\_display\_index函数展示所有创建过的虚拟索引。例如：


（4） （可选）使用hypopg\_estimate\_size函数估计虚拟索引创建所需的空间大小（单位：字节）。例如：

opengauss=> select * from hypopg_estimate_size(329730);
hypopg_estimate_size

15687680

(1 row)


（5） 删除虚拟索引。  
 ① 使用hypopg\_drop\_index函数删除指定oid的虚拟索引。例如：

opengauss=> select * from hypopg_drop_index(329726);
hypopg_drop_index

t
(1 row)


② 使用hypopg\_reset\_index函数一次性清除所有创建的虚拟索引。例如：





## 写在最后

**在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。**


需要完整版PDF学习资源私我



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84558442

关注

11
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
openGauss数据库源码解析系列文章—— AI技术之“智能索引推荐”_pg_catalog(6)

/ 新建虚拟索引，该虚拟索引的结构体类型hypoIndex定于位于文件openGauss-server/src/include/dbmind/hypopg_index.h，与索引结构体IndexOptInfo类似。// 将新建的虚拟索引entry添加到虚拟索引的全局链表hypoIndexes上，该全局变量为节点类型为hypoIndex。/* 虚拟索引的oid，该oid是唯一的。// 根据语法树的解析结果为虚拟索引entry内的各个成员赋值。// 获得创建索引的表的oid。// 设置虚拟索引的名字。
复制链接

扫一扫