- 博客(1)
- 收藏
- 关注
RSS订阅原创 觉得langchain的文本分割器种类与参数难以界定？自己动手编写文本分割函数！
langchain的TokenTextSplitter分割器去分割，会造成的问题之一为，size的不均匀，有些块会过小。（即文本块的方差较大）且如果按照tokens计算的方式去划分的话造成问题。我们可以自己定义分割函数
2023-08-14 19:37:36
1658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人