记录些RAG中Chunk切分方法

非结构化数据

在处理非结构化数据时，文本切分策略的选择至关重要，以保持信息完整性和提高检索效率。以下是一些有效的切分方法：

• 固定长度切分：将文本按照固定的字数或词数进行切分，例如每个文档切分成300个字或300个词的块。但这种方法可能会在句子或语义重要部分的中间切断，影响理解和检索效果。
• 基于句子的切分：在这种策略中，文本被分割成多个部分，这些部分是根据句子的自然边界来确定的。这意味着我们利用自然语言处理技术来识别句子的结尾，比如句号、问号等标点符号，然后在这些点上进行切分。这种方式有助于维护语义的连贯性，但可能会导致各个块的长度参差不齐，这可能会使得检索和匹配过程变得更加复杂。
• 滑动窗口（Sliding Window）：在这种切分技术中，文本被划分为一系列重叠的部分，通过使用一个滑动窗口来完成。例如，我们可以设定一个窗口大小为300个词，并且每次滑动30个词。这种方法能够有效减少在固定长度切分或基于句子边界切分时可能发生的信息丢失问题。
• 基于主题或段落的切分：这种先进的切分技术利用了文本的固有结构