langchain内置了如下文档切分器

最新推荐文章于 2024-10-17 17:26:49 发布
最新推荐文章于 2024-10-17 17:26:49 发布
阅读量386 收藏 6
点赞数 5
文章标签： langchain 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37928340/article/details/141266290
版权

文本切分器

说明

CharacterTextSplitter

按字符来分割文本。

RecursiveCharacterTextSplitter

按字符串分割文本，递归地尝试按不同的分隔符进行分割文本。

MarkdownHeaderTextSplitter

基于指定的标题来分割markdown 文件。

MarkdownTextSplitter

沿着Markdown的标题、代码块或水平规则来分割文本

SentenceTransformersTokenTextSplitter

按token来分割文本

NLTKTextSplitter

使用 NLTK（自然语言工具包）按句子分割文本。

SpacyTextSplitter

使用 Spacy按句子的切割文本

PythonCodeTextSplitter

沿着python类和方法的定义分割文本

LatexTextSplitter

沿着Latex标题、标题、枚举等分割文本，如下面的分割符涉及的多个符号，如chapter，section，subsection等。

okenTextSplitter

按token来分割文本

马行处
关注
人工智能_大模型033_LangChain003_记忆封装Memory上下文控制机制_LCEL表达式语言---人工智能工作笔记0168
添柴程序猿的专栏
04-15 254
可以看到上面,加载了之前我们定义的tools,并且,拼接了functions解析器,还有call_tool_list,这些工具,然后 ,拼接上StrOutputParser解析器,然后最后,再RunnableLambda(route)调用对应的函数,结果。然后接着就是| 使用LCEL,做下面的动作,如果大模型返回的是functions,那么就调用JsonOutputToolsParser解析,如果返回的是text,那么就用StrOutputParser解析器解析,这个过程。有什么我可以帮助您的吗？
langchain txt 文档按字数分块，按指定字符分块
木下瞳的博客
04-13 673
txt 有多行，我的这份数据有 67 行，样例如下：字段1\t值1\n字段2\t值2\n...
【 使用langchain对docx、pdf、txt文档进行自定义切分】
xiaoshan_777的博客
05-27 2131
在RAG方案中，由于使用langchain按字数的切分方案，导致文本的召回结果不是很理想，此模型为某证券公司的模型方案，知识库大多是规章制度、法律条例等等，所以个性化按照默认方案即字数切分、章节切分、条切分。
【可能是全网最丝滑的LangChain教程】十四、LangChain进阶之Text Splitters
Jeffray1991的博客
06-12 1507
本页面主要介绍了 LangChain 中的文本分割器，包括各种分割方法、分割器的类别、分割依据以及是否添加元数据等功能。
【RAG入门教程04】Langchian的文档切分
yanqianglifei的专栏
06-09 2426
在 Langchain 中，文档转换器是一种在将文档提供给其他 Langchain 组件之前对其进行处理的工具。通过清理、处理和转换文档，这些工具可确保 LLM 和其他 Langchain 组件以优化其性能的格式接收数据。上一章我们了解了文档加载器，加载完文档之后还需要对文档进行转换。
LangChain教程 | langchain 文本拆分器 | Text Splitters全集
HRG520JN的博客
03-28 9204
一旦加载了文档，您通常会想要转换它们以更好地适应您的应用程序。最简单的例子是，您可能希望将一个长文档分割成更小的块，以便适合模型的上下文窗口。LangChain有许多内置的文档转换器，可以轻松地拆分、组合、过滤和操作文档。当你想处理很长的文本时，有必要将文本分割成块。虽然这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”的含义可能取决于文本的类型。示例展示了几个方法来做到这一点。将文本分成语义上有意义的小块（通常是句子）。
LangChain核心模块 Retrieval——文本分割
weixin_43787408的博客
03-24 1555
是一个“结构感知”分块器，它在元素级别拆分文本，并为每个与任何给定块“相关”的标题添加元数据。这样做的效果是尝试将所有段落（然后是句子，然后是单词）尽可能长时间地放在一起，因为这些通常看起来是语义相关性最强的文本片段。“语义相关”的含义可能取决于文本的类型。在较高层次上，它会分成句子，然后分成 3 个句子为一组，然后合并嵌入空间中相似的句子。检索的关键部分时仅获取文档的相关部分，主要任务之一是将大文档分割为更小的块。最简单的例子是，将长文档分割成更小的块，以适合模型的上下文窗口。
【LangChain系列】第二篇：文档拆分简介及实践
2301_81888214的博客
06-05 1095
在上一篇博客中，我们学习了如何使用LangChain的文档加载器将文档加载为标准格式。加载文档后，下一步是将它们拆分为更小的块。
【langchain学习】深度解析：Langchain TextSplitter 与新型正则表达式分割器的性能对比
m0_54007171的博客
09-22 906
本文面向高级开发者，详细解析了Langchain的`TextSplitter`与我们最新研发的新型正则表达式分割器的性能差异。我们将通过代码示例和实战结果展示两者的优缺点，帮助您在不同应用场景中做出更好的选择。
（17-3-01）检索增强生成（RAG）：Recursively文本分割器
码农三叔
04-27 1903
文本分割器（Text Splitters）是 LangChain 中用于处理和转换文档的工具，可以帮助开发者将长文档分割成更小的、语义上有意义的块，以适应我们的应用程序或模型的上下文窗口。
大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题(1)
2401_84184567的博客
04-27 976
这里获取](https://bbs.csdn.net/topics/618545628)**
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
丨汀、的博客
08-27 405
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
langchain4j实战：向量模型EmbeddingModel落地实践
VivianStark的博客
07-10 660
项目面临多合作方集成挑战，涉及复杂的业务场景和接口字段间的数据映射，需手动配置映射表达式，效率低下，接口字段非常多时很费时费力。通过运用大模型的自然语言处理能力，能精准识别用户查询的“证件号码”意图，确保映射至正确的X.idNo字段，而非误配至如手机号等其他字段，极大地提升了对接新合同方时的自动化程度与准确性。文本分割器，解析表达式文本，包含接口类型、字段名称、表达式；最终实现效果：如下图，在接口字段配置页面，无需再手动填充，点击“一键生成”，自动适配出表达式内容。postman调用结果。
LangChain初体验之文档拆分
2401_84215165的博客
04-15 369
加载文档后，您通常希望对其进行转换以更好地适应您的应用程序。最简单的例子是，您可能希望将长文档拆分为适合模型上下文窗口的较小块。LangChain有许多内置的文档转换器，可以轻松拆分、组合、过滤和以其他方式操作文档。当您想处理长文本时，有必要将该文本拆分为块。尽管这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”的含义可能取决于文本的类型。导入枚举语言并指定语言。这基于字符（默认为“”）进行拆分，并通过字符数测量块长度。
LangChain - 文档转换
AI + 工程
04-08 1386
一、文档转换器 & 文本拆分器 文本拆分器 二、开始使用文本拆分器 三、按字符进行拆分 四、代码分割 (Split code) 1、PythonTextSplitter 2、JS 3、Markdown 4、Latex 5、HTML 6、Solidity 五、MarkdownHeaderTextSplitter 1、动机 2、Use case 六、递归按字符分割 七、按token 进行分割 1、tiktoken 2、spaCy 3、SentenceTransformers 4、NLTK 5、Hugging F
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1280
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 1012
DINO系列学习总结
新质技术之生成式AI、大模型、多模态技术开发与应用研修班
最新发布
Lynn121的博客
10-17 442
在当前的科技飞速发展的时代，生成式人工智能、大模型、多模态技术的出现正为企业的数字化转型带来革命性变革。该研修班特别设计了为期四天的课程，从生成式AI的核心概念入手，逐步深入探讨大模型的应用开发以及多模态技术的集成运用。通过此次研修班，学员不仅能获得最新的AI技术知识，还能获得行业权威机构的职业技能认证，这将极大提升其在未来职场中的竞争力。本次研修班采取理论与实战相结合的培训模式，旨在让学员不仅能够全面掌握生成式AI、大模型和多模态技术的最新理论，还能通过实战练习，掌握将这些技术应用于实际业务。
使用langchain 切分文档
05-08
使用LangChain进行文本分词，可以按照如下步骤进行： 1. 安装LangChain。LangChain支持多种操作系统，可以在官网上下载对应版本进行安装。 2. 加载语言模型。在使用LangChain前，需要先加载相应的语言模型，比如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值