随着企业数字化转型的推进,智能化和高效服务成为企业竞争力的关键。我们设计了一款基于Nvidia NIM模型加速平台的智能企业门户接待系统,利用先进的AI技术,只需粘贴您的门户主页(耗时1s)便能自动构建智能虚拟接待员,帮助企业实现更高效的客户支持、产品推荐和人才招聘。这一系统不仅提高客户体验,还有效促进销售转化与人才获取。
一 背景介绍
-
背景:大部分公司拥有复杂的门户网站,客户很难快速找到所需信息。因此,设计了基于爬虫、向量数据库、大模型和语音交互的智能接待系统。
-
目标:让客户更轻松了解公司,提升用户体验,进而可能提升销售额和人才招聘效果。
二 技术架构
-
使用爬虫+NLP模型自动提取公司官网的信息。
-
核心技术包括大模型(如Llama 3.1)、语音识别(Whisper)和向量存储(FAISS)。
-
客户可以通过语音或文本输入,系统通过RAG(检索增强生成)方式检索知识库并生成回复。
三 技术方案
3.1 技术选型
-
图片内容提取:microsoft/phi-3-vision-128k-instruct
-
选择原PHI-3 Vision 是一个强大的图像信息提取模型,能够从图片中生成高质量的文本描述。我们选择这一模型的原因是它具有高度的准确性和稳定性,尤其适用于企业场景中的图像描述提取。团队对这个模型较为熟悉,能够确保更快的开发与集成。
-
语音转文本:Whisper - Medium Whisper 是一个开源的语音识别模型,在处理多种语言和口音的语音转文本任务上表现出色。我们选择 Medium 版本,主要是因为其体积适中,既能够应对常规场景,又不需要过高的计算资源,同时兼顾了性能和效率。
-
向量化:NV-Embed-QA NV-Embed-QA 是英伟达提供的向量化模型,具备优越的兼容性和处理速度。由于系统需要处理大量文本数据并进行高效的向量化,NV-Embed-QA 的快速处理能力和与其他组件的无缝集成使其成为理想选择。
-
核心大语言模型:Meta/Llama-3.1-405b-Instruct Llama 3.1 是 Meta 发布的开源大语言模型,具有最新的技术优势和卓越的性能表现。我们选择这个模型是因为它不仅开源可定制,还具备强大的生成与理解能力,能够很好地满足复杂企业场景中的对话需求。
-
数据爬取:HTTP + BeautifulSoup HTTP 请求与 BeautifulSoup 是经典的网页数据抓取组合,能够高效、灵活地从公司网站中提取文本和图像信息。这个组合简单易用,开发成本低,且在处理结构化和半结构化数据方面表现良好。
-
向量存储:FAISS FAISS 是由 Facebook 开发的开源向量搜索库,广泛应用于大规模向量检索。我们选择 FAISS 主要因为它处理高维向量数据的效率非常高,并且支持多种索引类型,能够根据实际需求灵活配置。
-
语音转文字:Whisper (OpenAI-Whisper) Whisper 模型在多语种语音识别方面表现优异,特别适合需要高准确率和复杂语音处理的场景。选择 OpenAI-Whisper 是因为它具有强大的社区支持和持续更新的能力,保证了在未来可以获得更多的优化与增强。
-
文字转语音:Pyttsx3 Pyttsx3 是一个离线的 Python 文本转语音库,具备跨平台的优势,能够在多种操作系统上稳定运行。选择 Pyttsx3 的原因是它的轻量级和高可定制性,使得在本地化应用中表现优异,特别是对于模拟真人语音的简单需求。
3.2 数据构建
-
初始数据获取:
-
目标:获取公司官网的所有页面及资源,构建企业知识库。
-
实现方式:通过爬虫技术遍历公司官网的所有同域页面,收集页面上的文本、图片等资源。
-
工具:使用 HTTP 和 BeautifulSoup 进行页面数据抓取和分类,确保获取的资源涵盖整个网站的公开内容。
-
信息提取:
-
文本信息提取:
-
过程:从 HTML 页面中提取有意义的文本信息,过滤掉无内容的标记(如 <script>、<style>)以及其他非文本元素(如 <xml> 标记等)。
-
关键点:确保提取的信息完整且准确,避免提取无关内容。
-
图片资源提取:
-
过程:将页面中的图片资源提交给图片信息提取模型(如 microsoft/phi-3-vision-128k-instruct),生成对应的文本描述。
-
关键点:图片描述应尽可能精确,涵盖图片中与企业信息相关的核心内容。
-
数据向量化:
-
过程:将提取的文本信息/图片描述输入嵌入大模型(如 NV-Embed-QA),生成对应的向量表示。
-
工具与模型:使用 NV-Embed-QA 模型进行高效的向量化处理,确保向量兼容性好且处理速度快。
-
数据存储:
-
存储方式:使用 FAISS 进行向量存储,构建本地知识库。
-
过程:
-
将所有生成的向量存入 FAISS 数据库中,并同时存储对应资源的网页地址(meta 信息)。
-
数据校验与优化:
-
校验过程:在数据存储完成后,进行向量检索的测试,确保构建的知识库能够高效、准确地返回查询结果。
-
优化措施:根据初步测试的结果,对信息提取和向量化流程进行调优,确保在不同数据规模下系统性能稳定。
3.3 多模态整合
该智能接待系统通过多模态技术整合,实现了从用户输入到生成响应的完整闭环,为企业提供了智能、高效的客户服务体验。
-
客户输入(语音+文本):
-
系统支持语音和文本两种输入方式。对于语音输入,采用 Whisper 模型将语音转化为文本,为后续处理提供基础。这样,客户可以通过自然语言的方式与系统互动,提升用户体验。
-
RAG 搜索(检索增强生成):
-
系统将客户输入的文本进行向量化处理,通过向量库快速匹配相关知识文档。这一过程利用预构建的知识库,通过检索找到最符合客户问题的多个文档,为生成精确回答提供依据。
-
大模型生成:
-
系统将客户输入与匹配到的相关文档构建成提示词,输入大模型进行推理。通过大模型的强大生成能力,系统能够根据上下文生成自然流畅且符合业务需求的回答。
-
语音播报:
-
最终生成的文本答案通过文字转语音技术(如 Pyttsx3)转化为语音输出,实现类似真人的解答效果,模拟企业接待场景。
四 实施步骤
4.1 环境准备
-
安装miniconda ,创建 python3.8 环境
-
下载ffmpeg 下载后配置好path,命令行输入ffmpeg -version不报错显示版本信息即可
4.2 环境搭建
-
激活python3.8环境,配置加速源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
-
安装python库:langchain-nvidia-ai-endpoints,jupyterlab,langchain==0.2.14, langchain_core,matplotlib,numpy,faiss,openai,langchain-community,gradio,pyttsx3,whisper, openai-whisper
-
运行jupyter-lab,打开浏览器的jupyter notebook,新建一个notebook
4.3 代码实现
4.3.1 引入依赖测试安装正确性
from langchain_nvidia_ai_endpoints import ChatNVIDIA
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnableLambda
from langchain.schema.runnable.passthrough import RunnableAssign
from langchain_core.runnables import RunnableBranch
from langchain_core.runnables import RunnablePassthrough
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
import os
import base64
import matplotlib.pyplot as plt
import numpy as np
4.3.2 配置NIM模型的访问key
步骤是访问NIM网站,注册会员获取免费额度,然后选择任意个模型,点击获取APIkey即可
os.environ["NVIDIA_API_KEY"] = "nvapi-xxx"
4.3.3 网页链接爬虫实现:
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
// 这里可以修改你想爬取的最大连接数量,如果笔记本性能比较差,不建议太大值
MAX_PAGES = 500
def crawl_website(start_url, max_pages=100):
start_host = urlparse(start_url).netloc # Extract the host part of the start URL
visited = set()
queue = [start_url]
results = [start_url]
with open('links.txt', 'w') as file: # Open file for writing
while queue and len(results) < max_pages:
current_url = queue.pop(0)
if current_url in visited:
continue
try:
response = requests.get(current_url, timeout=10)
if response.status_code == 200:
visited.add(current_url)
results.append(current_url)
print('add url@' + current_url)
file.write(current_url + '\n') # Write the current URL to the file
soup = BeautifulSoup(response.text, 'html.parser')
# Find all links and add to the queue
for link in soup.find_all('a', href=True):
absolute_link = urljoin(current_url, link['href'])
if absolute_link not in visited and absolute_link not in results and urlparse(absolute_link).netloc == start_host:
queue.append(absolute_link)
except requests.RequestException:
continue
return results
def read_links_file(filepath='links.txt'):
with open(filepath, 'r') as file:
return [line.strip() for line in file]
4.3.4 读取链接
从已爬取完成的links.txt读取或者执行链接爬取, 修改门户网站链接
import os
# 替换下面的 URL 为网站首页
start_url = "https://www.bangyan.com.cn"
if os.path.exists('links.txt'):
found_pages = read_links_file()
print("Read links from file")
else:
print("File not found. Starting crawl...")
found_pages = crawl_website(start_url)
print("Crawled pages:")
# 去重
found_pages = set(url.strip('/') for url in found_pages)
found_pages = list(found_pages)
print(found_pages)
4.3.5 内容提取
图片则由大模型生成描述,否则仅提取文本内容:
import re
from typing import List, Union
import base64
import requests
from bs4 import BeautifulSoup
def html_document_loader(url: Union[str, bytes]) -> str:
"""
Loads the HTML content of a document from a given URL and return it's content.
Args:
url: The URL of the document.
Returns:
The content of the document.
Raises:
Exception: If there is an error while making the HTTP request.
"""
try:
response = requests.get(url)
content_type = response.headers.get('Content-Type', '')
if 'image' in content_type:
image_b64 = base64.b64encode(response.content).decode('utf-8')
chart_reading = ChatNVIDIA(model="microsoft/phi-3-vision-128k-instruct")
result = chart_reading.invoke( f'生成下图的中文描述, : <img src="data:image/png;base64,{image_b64}" />')
return result.content
html_content = response.text
except Exception as e:
print(f"Failed to load {url} due to exception {e}")
return ""
try:
# 创建Beautiful Soup对象用来解析html
soup = BeautifulSoup(html_content, "html.parser")
# 删除脚本和样式标签
for script in soup(["script", "style"]):
script.extract()
# 从 HTML 文档中获取纯文本
text = soup.get_text()
# 去除空格换行符
text = re.sub("\s+", " ", text).strip()
return text
except Exception as e:
print(f"Exception {e} while loading document")
return ""
4.3.6 文本嵌入实现方法
from langchain.text_splitter import RecursiveCharacterTextSplitter
# text_splitter = CharacterTextSplitter(chunk_size=400, separator=" ")
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=400,
chunk_overlap=0,
length_function=len,
)
def create_embeddings(embedding_path: str = "./embed"):
embedding_path = "./embed"
print(f"Storing embeddings to {embedding_path}")
urls = found_pages
for url in urls:
print('load url@' + url)
document = html_document_loader(url)
texts = text_splitter.create_documents([document])
try:
index_docs(url, text_splitter, texts, embedding_path)
except Exception as e:
print("Generated embedding fail")
print(e)
else:
print("Generated embedding successfully")
4.3.7 存储嵌入向量
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
from langchain.vectorstores import FAISS
def clean_text(text):
# 移除无用的换行符和多余空格
return text.replace("\\n", " ").strip()
embeddings = NVIDIAEmbeddings(model="NV-Embed-QA")
def index_docs(url: Union[str, bytes], splitter, documents: List[str], dest_embed_dir) -> None:
"""
Split the document into chunks and create embeddings for the document
Args:
url: Source url for the document.
splitter: Splitter used to split the document
documents: list of documents whose embeddings needs to be created
dest_embed_dir: destination directory for embeddings
Returns:
None
"""
docs = []
metadatas = []
for document in documents:
texts = splitter.split_text(document.page_content)
docs.extend(texts)
metadatas.extend([{"source":url}] * len(texts))
docs = [clean_text(text) for text in docs]
try:
# Attempt to load an existing index if it exists
store = FAISS.load_local(folder_path=dest_embed_dir, embeddings=embeddings, allow_dangerous_deserialization=True)
except:
# If the index doesn't exist, create a new one
store = FAISS.from_texts(docs, embeddings, metadatas=metadatas)
else:
store.add_texts(docs, metadatas=metadatas)
store.save_local(folder_path=dest_embed_dir)
4.3.8 执行嵌入
--- 只需要执行一次构建向量库
# 只需要执行一次的
create_embeddings()
4.3.9 RAG实现
from langchain.chains.conversational_retrieval.prompts import CONDENSE_QUESTION_PROMPT, QA_PROMPT
from langchain.chains import ConversationalRetrievalChain, LLMChain
from langchain.chains.question_answering import load_qa_chain
llm = ChatNVIDIA(model="meta/llama-3.1-405b-instruct", temperature=0.8, max_tokens=1000, top_p=1.0)
embedding_path = "embed/"
docsearch = FAISS.load_local(folder_path=embedding_path, embeddings=embeddings, allow_dangerous_deserialization=True)
memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
question_generator = CONDENSE_QUESTION_PROMPT | llm
chat = ChatNVIDIA(model="meta/llama-3.1-405b-instruct", temperature=0.1, max_tokens=1000, top_p=1.0)
doc_chain = load_qa_chain(chat , chain_type="stuff", prompt=QA_PROMPT)
retriever = docsearch.as_retriever()
# helper function 用于Debug
def print_and_return(x):
print(x)
return x
def welcome( user_input, ):
doc_chain = load_qa_chain(chat , chain_type="stuff", prompt=QA_PROMPT)
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"Answer solely based on the following context:\n<Documents>\n{context}\n</Documents>, 禁止透漏你是从文档中获取的信息,必须以一名公司接待人员的口吻回答.必须用中文回答",
),
("user", "{question}"),
]
)
chain = (
{"context": retriever, "question": RunnablePassthrough()}
| RunnableLambda(print_and_return)
| prompt
| RunnableLambda(print_and_return)
| llm
| StrOutputParser()
)
rag_result = chain.invoke(user_input)
return rag_result
4.3.10 测试RAG
# answer = welcome('介绍下公司')
# print(answer)
4.3.11 文字转语音实现方法
import pyttsx3
import os
def tts_function(text):
# 使用 pyttsx3 将文本转为语音并保存为音频文件
engine = pyttsx3.init()
audio_file = "output.mp3"
engine.save_to_file(text, audio_file)
engine.runAndWait()
return audio_file
def play_tts(text):
audio_path = tts_function(text)
return audio_path
4.3.12 测试转语音效果
# path = play_tts(answer)
# print(path)
4.3.13 根据文字输入调用rag再输出语音的包装方法
def audioRole(user_input,):
llmAnswer = welcome(user_input)
return play_tts(llmAnswer)
4.3.14 根据录音文件地址读取并转为文本的方法
import gradio as gr
import whisper
# 加载 Whisper 模型
model = whisper.load_model("small")
def transcribe_audio(audio):
# 使用 Whisper 模型进行语音转文字
result = model.transcribe(audio)
return result["text"]
4.3.15 语音或文本输入 -> RAG -> 语音输出流程的包装方法
def audioOrText(source,user_input):
print(user_input,source)
if source is not None:
user_input = transcribe_audio(source)
print(user_input)
if len(user_input):
return audioRole(user_input)
4.3.16 gradio界面配置
import gradio as gr
multi_modal_chart_agent = gr.Interface(fn=audioOrText,
inputs=[gr.Audio(sources=['microphone'], type="filepath"), 'text'], #gr.Image(label="Upload image", type="filepath"),
outputs=['audio'],
title="Multi Modal chat agent",
description="Multi Modal chat agent",
allow_flagging="never")
multi_modal_chart_agent.launch(debug=True, share=False, show_api=False, server_port=5000, server_name="0.0.0.0")
4.4 测试和调优
-
利用4.3.10 测试rag效果,利用4.3.12测试转语音的效果
-
分别测试 “介绍下公司的产品”“我擅长xxxx,有适合我的岗位吗?"等输入情况下的输出
-
调优:
-
一开始可能会为了节省额度,使用比较小的模型,这部分可以慢慢的调大,够用即可
-
prompt需要根据实际情况进行适当的调整,这个真的很重要
4.5 部署
如果根据4.3的步骤,创建了完整的notebook,依次运行即可。最后gradio的代码运行后,使用浏览器访问:localhost:5000,即可开始体验和自己的虚拟接待员对话了。
五 使用场景和界面展示
5.1 使用场景
-
咨询公司信息与联系方式:客户首次接触公司网站,想快速了解公司的基本信息、历史、联系方式等。通过智能接待系统,客户可以直接询问“你们公司在哪?”或“如何联系销售部门?”等问题,系统会根据官网数据快速检索并生成答案,以语音或文本形式即时回复。
-
询问公司的销售产品:客户有明确的购买需求,但不清楚公司产品的详细信息。通过智能接待系统,客户可以咨询“你们有哪些产品?”、“这款产品有哪些功能?”等问题,系统会基于企业产品介绍页面中的内容进行检索,并提供精准的产品信息介绍。
-
咨询招聘岗位信息:求职者希望了解公司当前的招聘信息及岗位要求。智能接待系统支持求职者提问如“你们公司现在招什么职位?”、“这个岗位的要求是什么?”等问题,系统会从招聘页面提取相关信息并生成回答,帮助求职者快速了解符合自己期望的职位。
5.2 原型界面展示
界面部分,上正式环境还是可以适当的调整一下:
-
左侧为录音界面,右侧为语音响应的播放界面
六 遇到的问题和解决记录
-
向量嵌入失败(报错400):
-
问题描述:在进行向量化处理时,系统出现了嵌入失败的错误(HTTP 400 Bad Request)。这个问题通常是由输入数据格式不正确或分词处理不当引起的。
-
解决措施:分析后发现是由于文本分割过程中分词处理不佳,导致输入文本过长或不符合模型要求。为此,采用了 RecursiveCharacterTextSplitter 替代原本的 CharacterTextSplitter,通过递归的方式更灵活地分割文本,使得嵌入过程更加稳定和符合规范。
-
语音解析不准确:
-
问题描述:在部分嘈杂或音质较差的环境中,系统的语音识别效果不理想,导致转录结果与实际内容偏差较大。
-
解决措施:为提高语音识别的准确性,决定更换更大、更复杂的语音转文本模型。更大的模型通常具备更强的泛化能力和对多噪音环境的鲁棒性,能够更准确地解析复杂语音。
-
语音转文字报错找不到文件:
-
问题描述:在进行语音转文本的过程中,系统频繁报错找不到必要的依赖文件,特别是在处理 Whisper 模型时。
-
解决措施:Whisper 模型依赖于 FFmpeg 工具进行音频处理。分析后发现问题出在缺少 FFmpeg。通过安装 FFmpeg 并正确配置路径后,确保 Whisper 模型能够顺利加载和使用音频文件,解决了文件找不到的问题。
七 总结和展望
7.1 项目评估:
本项目虽然起步较晚,但在实践中证明了其具有广阔的应用前景。通过多次迭代测试,在理想环境下(如较好的收音条件下),系统能够快速且准确地给出客户所需的答案,回答与实际需求的偏差较小。然而,系统在实际运行中仍然面临一些挑战:
-
语音转文字效果:在嘈杂环境或音质较差的情况下,语音识别的准确度存在下降,噪声过滤能力有待提升。
-
语音输出情感欠缺:虽然系统的语音输出清晰,但缺乏情感表达,无法模拟更为自然的真人对话效果。
7.2 未来方向:
为进一步提升系统的性能与用户体验,未来的优化方向主要包括以下几方面:
-
数据爬取支持更多资源类型:在现有文本和图片提取基础上,增加对视频、PDF 等多种资源的支持,丰富知识库的内容和形式,使系统能够更全面地回答用户问题。
-
会话记忆支持:引入会话记忆功能,允许系统在多轮对话中保持上下文关联,使得交互更加自然、连贯。
-
并发支持优化:针对高并发环境进行优化,提高系统在多用户同时访问时的响应速度和稳定性,确保在峰值流量下的服务质量。
-
语音输出的拟人化:进一步优化语音合成技术,使输出语音更富有情感和自然性,模拟更加贴近真人的表达方式。
-
自动语音检测与提交:改进录音机制,使系统能够自动检测并处理客户的语音输入,无需用户手动按下录音按钮,从而提供更顺畅的交互体验。
八、参考资料
[1]、基础环境配置教程
[2]、langchain文档
[3]、Nvidia NIM平台使用参考