IRIS 2021 技术文档 First Look 20 -- SQL 文本搜索

本文档向您介绍 InterSystems IRIS®数据平台对 SQL 文本搜索的支持，它为各种语言的非结构化文本数据提供语义上下文搜索。它涵盖了以下主题：

• 为什么 SQL 搜索很重要
• InterSystems IRIS 如何实现 SQL 搜索
• 尝试 SQL 搜索
• 有关 SQL 搜索的更多信息

本文档介绍了 SQL 上下文感知文本搜索，并介绍了一些与索引文本数据相关的初始任务，以进行搜索和执行 SQL 搜索。一旦您完成了这个探索，您将在一个 SQL 列中为文本搜索建立索引，并执行几种类型的搜索。这些活动被设计为只使用默认设置和功能，以便您熟悉该功能的基本原理。有关 SQL 搜索的完整文档，请参见 SQL Search Guide(《SQL 搜索指南》)。

处理非结构化文本的一个相关但独立的工具是自然语言处理(Natural Language Processing，NLP)。SQL 搜索假定您知道要查找的内容。NLP 文本分析允许您在没有事先了解文本内容的情况下分析文本的内容 。处理非结构化文本的一个相关但独立的工具是自然语言处理(Natural Language Processing，NLP)。SQL 搜索假定您知道要查找的内容。NLP 文本分析允许您在没有事先了解文本内容的情况下分析文本的内容 。处理非结构化文本的一个相关但独立的工具是自然语言处理(Natural Language Processing，NLP)。SQL 搜索假定您知道要查找的内容。NLP 文本分析允许您在没有事先了解文本内容的情况下分析文本的内容。

要浏览所有的技术概要(First Look)，包括可以在 InterSystems IRIS 免费的评估实例上执行的那些，请参见 InterSystems First Looks(《InterSystems 技术概要》)。

1. 为什么 SQL 搜索很重要

快速搜索非结构化文本数据的能力是访问许多公司和机构普遍存储的大量文本内容的基础。任何此类数据的搜索工具必须具有以下功能：

• 快速搜索：InterSystems IRIS SQL 搜索可以快速搜索大量的数据，因为它搜索的是生成的优化数据索引，而不是顺序搜索数据本身。
• 单词感知(Word-aware)搜索：SQL 搜索不是字符串搜索，它是基于文本中语义结构的搜索。SQL 搜索的最基本的语义结构是单词。这就减少了在字符串搜索中发现嵌入另一个单词中的字符串，或当字符串连接两个单词时产生的误报数量。
• 实体感知(Entity-aware)搜索：SQL 搜索考虑了多个单词，这些单词根据语义关系分组形成实体。因此，它可以搜索指定顺序(位置短语)中的多个单词、出现在彼此特定接近范围内的单词(无论顺序如何)，以及在实体的开头或结尾找到的单词。这使您能够将搜索范围缩小到在其他单词的指定上下文中找到的一个单词(或短语)。
• 语言感知(Language-aware)搜索：识别单词之间的语义关系是基于语言的。SQL 搜索包含十种自然语言的语义规则(语言模型)。它还提供对其他语言的支持。它不需要创建或关联字典或本体。

• 模式匹配：SQL 搜索同时提供通配符匹配和正则表达式(RegEx)匹配，来匹配字符模式。
• 模糊匹配：SQL 搜索为近似匹配提供模糊搜索，这些搜索考虑了搜索字符串的计算变化程度。这使拼写错误的匹配成为可能。
• 派生匹配：SQL 搜索可以使用分解来匹配词根和组件词。SQL 搜索可以使用同义词表来匹配同义词和短语。使用同义词表来匹配同义词和短语。

2. InterSystems IRIS 如何实现 SQL 搜索

SQL 搜索可以搜索在 SQL 表的列中发现的文本数据。为了做到这一点，您必须为包含文本数据的列创建一个 SQL 搜索索引。InterSystems 将表列实现为持久化类中的属性。

有三个级别的索引可用，每个级别都支持附加的功能以及较低级别的所有功能：基本(Basic)、语义( Semantic)和分析(Analytic):

• 基本(Basic)支持单词搜索和位置短语搜索，包括使用通配符、短语中单词之间的范围、正则表达式(RegEx)匹配和共同出现搜索。
• 语义(Semantic) 支持所有的基本功能，并且还支持 InterSystems IRIS 自然语言处理(NLP)实体。它可以搜索实体，以及以实体开头或以实体结尾的单词或短语。它能识别 NLP 的属性，比如否定。
• 分析(Analytic) 支持所有的语义(Semantic)功能，也支持 NLP 路径。它还可以根据 NLP 优势和接近度分数进行搜索。

填充索引。像所有的 SQL 索引一样，您可以在数据填充表之后直接构建索引，也可以在将记录插入空表时让 SQL 自动构建索引条目。无论哪种情况，SQL 都会自动更新此索引作为后续插入、更新或删除操作的一部分。

您执行 SQL 搜索，编写一个 SELECT 查询，其中的 WITH 子句包含 %ID %FIND search_index() 语法。search_index() 函数的参数包括 SQL 搜索索引的名称和搜索字符串。这个搜索字符串可以包括通配符、位置短语和实体语法字符。搜索字符串还可以包括 AND、OR 和 NOT 逻辑运算符。您执行 SQL 搜索，编写一个 SELECT 查询，其中的 WITH 子句包含 %ID %FIND search_index() 语法。search_index() 函数的参数包括 SQL 搜索索引的名称和搜索字符串。这个搜索字符串可以包括通配符、位置短语和实体语法字符。搜索字符串还可以包括 AND、OR 和 NOT 逻辑运算符。您执行 SQL