(17-2-01)检索增强生成(RAG):文档加载器(1)

5.2  文档加载器(Document loaders)

文档加载器(Document loaders)用于从不同数据源加载数据并将其转换为文档(Document)的工具,一个“文档”是指一段文本及其相关的元数据。例如,文档加载器可以用来加载一个简单的“.txt”文件、任意网页的文本内容,甚至是视频的文字记录。

5.2.1  加载数据的方法

文档加载器用于加载和处理数据,为后续的文本分析、检索和生成等任务提供了基础。在LangChain中,文档加载器提供了如下几种处理和加载数据的方法。

  1. 加载(Load)方法:从配置好的数据源加载文档。这意味着文档加载器能够连接到指定的数据源,获取所需的文本和元数据,并将它们作为文档对象加载到系统中。
  2. 加载并分割(Load and split)方法:除了加载文档外,还可以使用传入的文本分割器对文档进行分割。这通常用于处理大型文档,将其分割成更小的、更易于处理的片段。
  3. 延迟加载(Lazy load)方法:这
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农三叔

感谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值