RAG第一步需要对文档进行分快,以便更好的进行检索,现有的分块方法基于分隔符、token限制、token重叠数等等,现有突出的文档分块方法有哪些呢?
可以查看:https://www.toutiao.com/article/7320243761475846656/
含有各个分块方法的代码。
RAG 文档分块方法
最新推荐文章于 2024-06-30 10:44:09 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)
RAG第一步需要对文档进行分快,以便更好的进行检索,现有的分块方法基于分隔符、token限制、token重叠数等等,现有突出的文档分块方法有哪些呢?
可以查看:https://www.toutiao.com/article/7320243761475846656/
含有各个分块方法的代码。