GBase 8a MPP Cluster全文索引

全文索引

GBase 8a MPP Cluster数据库支持全文检索，由于默认采用全单字索引方式，支持几乎所有的语种，并且可以保证100%的查询召回率。结合GBase 8a MPP Cluster独特的列存储，压缩和智能索引技术，适合面向海量数据的检索查询应用。
主要功能包括：
1.建立索引与搜索

• 在GBase 8a MPP Cluster中内嵌全文检索引擎，支持表中所有文本类型字段的索引与查询。
• 支持参数化管理，索引建立、分词、索引维护、搜索等过程均可以通过GBase 8a MPP Cluster的标准配置文件进行方便的配置。
• 在GBase 8a MPP
  Cluster中内嵌文本切分器功能，以实现对文本列、搜索串的单字切分，并能保证两者的切分规则、切分结果的一致性，防止由上下文语境导致的切分不一致。
• 支持全文索引同步查询，在创建索引过程中可实现查询功能。新追加数据可分批创建索引，当索引数据缓冲区中数据处理完成到索引文件后，用户可立即搜索到这些已创建索引的新内容，而不是等所有新数据都建好索引之后才能查询。
• 支持数据库表中已建立全文索引列的词句逻辑表达式查询（AND、OR、NOT）、NEAR查询，并支持与非全文索引字段之间的逻辑组合查询。

2.支持DML

• 支持数据库表中字符数据类型列已建立全文索引的在线删除。
• 支持列数据Update后全文索引的同步更新

3.支持DDL

• 支持数据库表在建立全文索引列被删除后，索引的自动失效。
• 支持数据库表重新命名后，索引不失效。

库内挖掘

GBMLLib是GBase8a的数据挖掘和机器学习扩展库，以插件的形式添加到GBase8a中。通过其提供的机器学习算法，GBase8a可以对用户数据进行深层次的分析和挖掘，将用户数据转化为用户价值。

GBMLLib提供了基于SQL的机器学习算法，目前包括的算法有：回归算法(线性回归)、分类算法(Logistic回归、支持向量机)和聚类算法(K-Means)。同时也提供了一些数组操作和线性代数计算的基本函数。

GBMLLib具备以下技术特征：

1. SQL接口：GBMLLib提供了SQL方式的数据挖掘算法，模型的训练、评估和预测都通过SQL语句来执行，使得数据分析师非常容易掌握，并与其现有技能结合，充分发挥其创造力、提高工作效率。
2. In-database分析：不同于其他分析工具需要通过api或odbc把数据从数据库搬移到分析节点进行处理的方式，GBMLLib的分析算法以数据库udf/udaf的形式运行在GBase8a的线程内部，通过GBase8a的执行计划进行调度，最大程度的减少数据的搬移、提升运行速度。
3. 方便扩展：GBMLLib以插件的形式添加到GBase8a中，并采用弹性灵活的软件架构，方便后续添加新的数据挖掘和机器学习算法。