- 博客(3)
- 收藏
- 关注
原创 RAG | 优化思路
但由于目前做的是商业化项目,未来终归是要处理大量数据的,所以整合是必要的;未来还需要运用多线程的技术去同时对比多个向量化后的文件,如果有多个文件的话多线程逻辑更简单;另外目前不知道数据的具体体量和个数。暂定路线:根据文件属性相似度进行合并,设置单文件大小阈值,达到阈值后不再合并。
2024-06-21 14:56:05 487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
但由于目前做的是商业化项目,未来终归是要处理大量数据的,所以整合是必要的;未来还需要运用多线程的技术去同时对比多个向量化后的文件,如果有多个文件的话多线程逻辑更简单;另外目前不知道数据的具体体量和个数。暂定路线:根据文件属性相似度进行合并,设置单文件大小阈值,达到阈值后不再合并。
2024-06-21 14:56:05 487
TA创建的收藏夹 TA关注的收藏夹
TA关注的人