第三节课：基于 InternLM 和 LangChain 搭建你的知识库

最新推荐文章于 2024-10-13 21:11:07 发布
最新推荐文章于 2024-10-13 21:11:07 发布
阅读量513 收藏 9
点赞数 12
文章标签： langchain 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48339493/article/details/135756421
版权
本文介绍了如何在书生·浦语和上海人工智能实验室的支持下，通过HuggingFaceCLI工具下载官方教程，解决安装过程中遇到的commandnotfound问题，以及进行数据收集、知识库搭建和InternLM与LangChain的集成，最后部署WebDemo的过程。
摘要由CSDN通过智能技术生成

感谢书生·浦语和上海人工智能实验室提供的模型和算力支持！！！

官方教程：https://github.com/InternLM/tutorial/blob/main/langchain/readme.md

镜像搭建：

使用 huggingface 官方提供的 huggingface-cli 命令行工具下载：（搭配镜像源）

下载 NLTK 相关资源（第一次用）

安装下载遇到的问题：huggingface-cli: command not found

解决方式：huggingface-cli: command not found-CSDN博客

数据收集（后续需要看下每个语料库的结构是什么样的）

知识库搭建的脚本

InternLM 接入 LangChain

部署 Web Demo

upcreat
关注
【Huggingface】如何访问Huggingface，Huggingface镜像
q742971636的博客
01-09 4705
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。本站域名 hf-mirror.com，用于镜像 huggingface.co 域名。不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。(3) 下载需要登录的模型（Gated Model）更多用法（多线程加速等）详见这篇文章。参数，token 获取具体参见上文。
huggingface-cli: command not found
消极的人永远是对的，积极的人选择勇往直前
03-28 6456
huggingface-cli: command not found
书生·浦语第三次作业
weixin_44468844的博客
01-10 658
huggingface-cli: command not found_n-v1-5> huggingface-cli login huggingface-cli : 无法-CSDN博客。安装好环境后终于开始写代码了,web_demo里面InternLM-chat-7b的路径得改一下！二、进阶作业：选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在。看来原训练材料确实没有涉及《黑天鹅》这本书，外接的数据库确实有一定用处。即使这样也是报错，不弄了，反正在云平台的成功了。
windows huggingface-cli安装时要注意的问题（‘huggingface-cli.exe‘ 不是内部或外部命令，也不是可运行的程序）
gaotong3701的博客
02-21 1980
在安装huggingface_hub的时候要注意如果你的python是放在c盘下时记得用管理员模式命令行来安装huggingface_hub，否则安装过程会报错，之后也不会有huggingface-cli命令。如果安装时因为没有用管理员权限安装而报错了，可以先卸载huggingface-hub。然后管理员模式下安装huggingface-hub。
完美解决huggingface问题：Failed to connect to huggingface.co port 443
Leeniux
01-27 4579
有没有下载Hugging Face模型的国内站点？
第三课：基于 InternLM 和 LangChain 搭建你的知识库
weixin_38043453的博客
01-13 494
1、创建InternLM虚拟环境，并查看python的版本。3、LangChain 相关环境配置。# clone 上述开源仓库。2、升级PIP并打补丁。
第3节：基于 InternLM 和 LangChain 搭建你的知识库
u012468965的博客
01-15 460
第3节：基于 InternLM 和 LangChain 搭建你的知识库。书生·浦语大模型实战营。
第三次笔记：基于 InternLM 和 LangChain 搭建知识库
qq_45607888的博客
01-10 956
课程地址：https://www.bilibili.com/video/BV1sT4y1p71V。
第三节作业：基于 InternLM 和 LangChain 搭建你的知识库
Kerin的博客
02-17 477
我们可以调用一个 LangChain 提供的 RetrievalQA 对象，通过初始化时填入已构建的数据库和自定义 LLM 作为参数，来简便地完成检索增强问答的全流程，LangChain 会自动完成基于用户提问进行检索、获取相关文档、拼接为合适的 Prompt 并交给 LLM 问答的全部流程。_call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 chat 方法，从而实现对模型的调用并返回调用结果。（2）在本地构建持久化的向量数据库。
InternLM全链路公开课3作业-基于 InternLM 和 LangChain 搭建你的知识库
01-10
InternLM全链路公开课3作业-基于 InternLM 和 LangChain 搭建你的知识库
基于InternLM-LLM-7B + langchain 的 烹饪小助手（Python）
01-11
【基于InternLM-LLM-7B + langchain的烹饪小助手（Python）】是一个巧妙地结合了自然语言处理技术和烹饪知识的项目。这个小助手是利用Python编程语言开发的，旨在帮助用户在烹饪过程中获取指导、建议和食谱。...
书生浦语课程笔记3-使用InternLM和LangChain搭建知识库
zhiho14的博客
01-14 1244
和。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[3]-参数配置详细版
丨汀、的博客
06-17 454
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[3]-参数配置详细版
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1276
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1087
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
线性判别器LDA
qq_52421831的博客
10-10 1207
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
2 机器学习之基本术语
此博客内容主要是小可日常工作中的一些问题解决的记录整理而成
10-11 655
这组记录的集合称为一个“数据集”(data set)，其中每条记录是关于一个事件或对象（这里是一个西瓜）的描述，称为一个“示例”(instance)或“样本”(sample)反映事件或对象在某方面的表现或性质的事项，例如“色泽”​“根蒂”​“敲声”​，称为“属性”(attribute)或“特征”(feature)；xid)是d维样本空间中的一个向量，xi∈，其中xij是xi在第j个属性上的取值（例如上述第3个西瓜在第2个属性上的值是“硬挺”​）​，d称为样本xi的“维数”(dimensionality)。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 345
论文创新点，将注意力机制 和卷积 相结合。
骨架提取（持续更新）
最新发布
xiongmaowangd的博客
10-13 543
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
基于InternLM的中学历史AI学习助手开发指南
资源摘要信息: "《AI大模型应用》-开发基于InternLM大模型的中学历史学习助手.zip" 标题知识点: - AI大模型应用：指的是利用人工智能领域中的大规模模型进行各类问题的求解和任务的完成。这些模型通常具有复杂和深...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值