qq_45141261的博客

多种索引结构：Flat：暴力搜索，适合中小规模数据。IVF（倒排文件索引）：适合大规模数据。PQ（分组量化）：进一步压缩内存占用。GPU 加速：支持 GPU 版本，在大规模数据上极大提升搜索速度。灵活的距离度量：支持内积、余弦、欧几里得距离等。本文介绍了一种基于语义嵌入的大规模文本去重方法，通过结合大语言模型（如 BERT）和高效相似度搜索工具（FAISS），实现了对语料库的语义级去重。高精度：捕捉语义相似性，避免遗漏同义表达的重复数据。