- 博客(1)
- 收藏
- 关注
原创 觉得langchain的文本分割器种类与参数难以界定?自己动手编写文本分割函数!
langchain的TokenTextSplitter分割器去分割,会造成的问题之一为,size的不均匀,有些块会过小。(即文本块的方差较大)且如果按照tokens计算的方式去划分的话造成问题。我们可以自己定义分割函数
2023-08-14 19:37:36 1764
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
langchain的TokenTextSplitter分割器去分割,会造成的问题之一为,size的不均匀,有些块会过小。(即文本块的方差较大)且如果按照tokens计算的方式去划分的话造成问题。我们可以自己定义分割函数
2023-08-14 19:37:36 1764
TA创建的收藏夹 TA关注的收藏夹
TA关注的人