在上一篇博客中,我用Flask和开源大模型建立了一个智能问答网站用Flask打造一个大模型智能问答WEB网站-CSDN博客,可以根据用户的问题来进行回答。但是模型能回答的知识受限于其训练数据,如果我们有一些私有的知识想让模型回答,模型是无法给出答案的。为此我们可以让模型根据我们的私有文档数据,来进行阅读理解,从而对用户提出的问题找到对应的答案。
为了建立一个私有知识库网站,我们需要用到向量数据库来对文档内容进行编码,然后存储到数据库中,当用户提出问题时,通过查询数据库,我们可以获取到和用户问题相似性最高的文档内容,然后把文档内容作为上下文提供给模型,使得模型根据这个信息来进行回复。
以下是建立私有知识库后的效果:
chatbot_knowledgebase
从以上演示我们可以看到,当我们打开知识库的开关后,系统能够正确的回复用户的问题,而不打开知识库,系统无法正确回答,只能一本正经地“胡说八道”。
现在我介绍一下如何实现这个知识库问答系统。
安装向量数据库
这里我选择Chromadb作为我的向量数据库,在官网上可以看到这个数据库的介绍和使用方法,非常简便。除了Chromadb之外,我们还需要安装Langchain的组件
首先是收集我们的内部知识文档,例如我在演示中展示的,我在网上搜集了一下火凤线的相关信息,这是一条小众的徒步路线,在模型的训练数据中从未出现过,正好适合作为我们的知识库数据进行演示。把这些信息保存为txt文件,放置在一个目录中。然后通过Langchain提供的工具,对文档进行切分,例如我们设置以500个字符大小作为切分条件,然后允许切分的文档之间有50个字符的重叠,如以下代码:
from langchain.document_loaders import DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
loader = DirectoryLoader('huofeng/', glob="**/*.txt")
docs = loader.load()
chunk_size = 500
chunk_overlap = 50
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
)
chunked_docs = splitter.split_documents(docs)
docs = []
for doc in chunked_docs:
docs.append(doc.page_content)
ids = []
for i in range(len(chunked_docs)):
ids.append('id'+str(i))
以上代码把切分后的文档内容添加到docs列表中,同时生成对应的id列表。
然后我们就可以建立一个向量数据库,把数据添加进去了,如以下代码:
import chromadb
client = chromadb.PersistentClient(path="./db")
collection = client.create_collection(name="huofeng")
collection.add(documents=docs, ids=ids)
只要三行代码,我们就建立了一个向量数据库了。然后我们可以测试一下进行查询:
result = collection.query(query_texts="火凤线徒步", n_results=5)
返回的结果如下:
{'ids': [['id8', 'id2', 'id1', 'id12', 'id17']],
'distances': [[0.9534385363719755,
0.9863589706903214,
1.0401753801778044,
1.1084357742703561,
1.1092408681204537]],
'metadatas': [[None, None, None, None, None]],
'embeddings': None,
'documents': [['火凤线徒步:\n\n火凤线,即广州市内火炉山到凤凰山 渔东路徒步路线,全程山地,有几个坡度。一般全程12KM左右,适合有一定耐力的户外新人。预计中午15:00左右,走到渔东路结束,自行公交返回。\n\n难度指数:★★☆☆☆ (初级)\n\n风景指数:★★☆☆☆\n\n【市内线.火凤】广州入门级经典徒步路线 火凤线徒步\n\n2021\n\n08\n\n26 15:54\n\n火凤线徒步:\n\n火凤线,即广州市内火炉山到凤凰山 渔东路徒步路线,全程山地,有几个坡度。一般全程12KM左右,适合有一定耐力的户外新人。预计中午15:00左右,走到渔东路结束,自行公交返回。\n\n难度指数:★★☆☆☆ (初级)\n\n风景指数:★★☆☆☆\n\n活动主题:徒步广州火凤线\n\n活动内容:徒步\n\n主 办 方:广州去旅行户外俱乐部\n\n集合时间:周六8:40签到 9:00准点出发(迟到不等,户外活动注意守时)\n\n集合地点:华观路(火炉山森林公园站)\n\n乘车方式:公交B10、20路 、78路A可到\n\n集合标志:“去旅行”黄色旗帜\n\n活动时长:当天来回\n\n交通方式:公共交通\n\n装备建议:\n\n1、午餐干粮零食、水果、至少2L水或运动饮料。',
'初级登山爱好者的路线\n\n火凤线\n\n8月1/8日,当天来回\n\n火凤线\n\n广州市内经典的徒步路线,火炉山\n\n猪仔山\n\n凤凰山\n\n筲箕窝水库(龙洞)水库\n\n大和嶂\n\n洞旗峰\n\n龙眼洞森林公园,该线路强度等级为标准级,一般情况下需连续不断登山行走9小时以上。\n\n火凤线,顾名思义是从火炉山到凤凰山的一条线路,该线路一般情况走下来大约要4个小时,路程大约11公里。\n\n凤凰山,位于筲箕窝水库东南,主峰海拔373.3米。得名“凤凰山”是因为山顶上有一大草窝,传闻为凤凰栖息之处。\n\n火炉山,因状似从天空俯视其形状象葫芦且山上泥土多为红泥土,所以称火葫芦,简称“火炉”,因此又名火炉山。\n\n火炉山和凤凰山的山路多以阶梯、黄泥路、急升坡为主,没有盘山公路,属于比较接近原生态的类型,没有过度的开发,比较适合于初次徒步的驴友。\n\n【集合地点】火炉山森林公园南门(岑村)B11总站集中\n\n【强难级别】★