知识分享之Golang——Bleve专用术语

知识分享之Golang——Bleve专用术语

背景

知识分享之Golang篇是我在日常使用Golang时学习到的各种各样的知识的记录，将其整理出来以文章的形式分享给大家，来进行共同学习。欢迎大家进行持续关注。

知识分享系列目前包含Java、Golang、Linux、Docker等等。

开发环境

• 系统：windows10
• 语言：Golang
• 组件库：Bleve
• golang版本：1.17
• 组件官网：http://blevesearch.com/
• 组件仓库：https://github.com/blevesearch/bleve
• 开源协议：Apache-2.0 License

内容

Bleve专用术语：

Analyzer

Analyzer分析器将输入文本转换为Token Stream令牌流。分析器由一个或多个组成部件组成一个管道。 该管道由零个或多个 Character Filters组成, 后面跟着一个 Tokenizer, 后面跟着零或更多 Token Filters。通过该流水线运行输入文本以生成所生成的令牌流Token Stream(令牌流).

Character Filter

Character Filter字符过滤器处理输入文本以删除不需要的字符。 例如，如果您的输入文档是HTML页面，您可以使用一个字符来删除HTML标记。有时，字符过滤器会用空格替换输入字符，以避免干扰剩余文本的原始字节偏移量。

Term

term 是一个统一特征字符序列。“term”这个词通常是用来描述我们写入索引的东西或者我们在索引中寻找的东西。例如，文本“mary had a little lamb”可能会导致索引中插入3个术语:“mary”、“little”和“lamb”。

Token

令牌是在文档或字段的特定位置出现的term

Tokenizer

分词器接受输入Text并将其拆分为一个或多个Tokens。对于自然语言来说，通常希望按词的边界进行分割。

Token Filter

token filter处理token流中的每个令牌，并产生另一个令牌流。这可以是未修改的原始流(original stream unmodified)，也可以添加、修改和删除标记。

Token Stream

token stream令牌流是一系列的 Tokens.

Text

Text是统一特征字符序列的通用术语。通常，单词“text”是为字符还没有被分析的用例保留的。我们从输入文本开始，然后分析它以生成要存储在索引中的术语。

本文声明：

88x31.png

知识共享许可协议
本作品由 cn華少 采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可。