5.2 文档加载器(Document loaders)
文档加载器(Document loaders)用于从不同数据源加载数据并将其转换为文档(Document)的工具,一个“文档”是指一段文本及其相关的元数据。例如,文档加载器可以用来加载一个简单的“.txt”文件、任意网页的文本内容,甚至是视频的文字记录。
5.2.1 加载数据的方法
文档加载器用于加载和处理数据,为后续的文本分析、检索和生成等任务提供了基础。在LangChain中,文档加载器提供了如下几种处理和加载数据的方法。
- 加载(Load)方法:从配置好的数据源加载文档。这意味着文档加载器能够连接到指定的数据源,获取所需的文本和元数据,并将它们作为文档对象加载到系统中。
- 加载并分割(Load and split)方法:除了加载文档外,还可以使用传入的文本分割器对文档进行分割。这通常用于处理大型文档,将其分割成更小的、更易于处理的片段。
- 延迟加载(Lazy load)方法:这