Langchain HTML loader （windows 环境下）

新手用户勇闯llm记录。

Langchain 文档 提供了好几种load html的方法，很可惜在使用第一种的时候就出现故障了。这里记录一下不同的方法：

UnstructuredHTMLLoader

load 本地文件会出现permission denied (conda 环境 + jupyter notedbook)
原因大概是这里类似的原因（不确定，猜的）
在colab上的运行结果：

BeautifulSoup4

运行结果如下：

要注意的是修改encoding的para是open_encoding，不知道哪个大聪明想的。。。
可以看到这个方式大概是把所有文字内容都放在page_content里了。

可能遇到的错误

环境从py3.11 换到py3.9突然就报错了：
FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
pip安装lxml也没有用。
解决方法：

loader = BSHTMLLoader(fname, open_encoding='utf-8',bs_kwargs={'features':'html.parser'})

SpiderLoader or FireCrawlLoader or AzureAIDocumentIntelligenceLoader

提供了三个需要API和订阅的方式，看上去是会处理一些再返回。还没试，如果试了再update。