1秒构建企业智能门户，销售额倍增，人才触手可及——NIM加持的全新AI虚拟接待！

随着企业数字化转型的推进，智能化和高效服务成为企业竞争力的关键。我们设计了一款基于Nvidia NIM模型加速平台的智能企业门户接待系统，利用先进的AI技术，只需粘贴您的门户主页（耗时1s）便能自动构建智能虚拟接待员，帮助企业实现更高效的客户支持、产品推荐和人才招聘。这一系统不仅提高客户体验，还有效促进销售转化与人才获取。

一 背景介绍

• 背景：大部分公司拥有复杂的门户网站，客户很难快速找到所需信息。因此，设计了基于爬虫、向量数据库、大模型和语音交互的智能接待系统。

• 目标：让客户更轻松了解公司，提升用户体验，进而可能提升销售额和人才招聘效果。

二 技术架构

• 使用爬虫+NLP模型自动提取公司官网的信息。

• 核心技术包括大模型（如Llama 3.1）、语音识别（Whisper）和向量存储（FAISS）。

• 客户可以通过语音或文本输入，系统通过RAG（检索增强生成）方式检索知识库并生成回复。

三 技术方案

3.1 技术选型

• 图片内容提取：microsoft/phi-3-vision-128k-instruct

• 选择原PHI-3 Vision 是一个强大的图像信息提取模型，能够从图片中生成高质量的文本描述。我们选择这一模型的原因是它具有高度的准确性和稳定性，尤其适用于企业场景中的图像描述提取。团队对这个模型较为熟悉，能够确保更快的开发与集成。

• 语音转文本：Whisper - Medium Whisper 是一个开源的语音识别模型，在处理多种语言和口音的语音转文本任务上表现出色。我们选择 Medium 版本，主要是因为其体积适中，既能够应对常规场景，又不需要过高的计算资源，同时兼顾了性能和效率。

• 向量化：NV-Embed-QA NV-Embed-QA 是英伟达提供的向量化模型，具备优越的兼容性和处理速度。由于系统需要处理大量文本数据并进行高效的向量化，NV-Embed-QA 的快速处理能力和与其他组件的无缝集成使其成为理想选择。

• 核心大语言模型：Meta/Llama-3.1-405b-Instruct Llama 3.1 是 Meta 发布的开源大语言模型，具有最新的技术优势和卓越的性能表现。我们选择这个模型是因为它不仅开源可定制，还具备强大的生成与理解能力，能够很好地满足复杂企业场景中的对话需求。

• 数据爬取：HTTP + BeautifulSoup HTTP 请求与 BeautifulSoup 是经典的网页数据抓取组合，能够高效、灵活地从公司网站中提取文本和图像信息。这个组合简单易用，开发成本低，且在处理结构化和半结构化数据方面表现良好。

• 向量存储：FAISS FAISS 是由 Facebook 开发的开源向量搜索库，广泛应用于大规模向量检索。我们选择 FAISS 主要因为它处理高维向量数据的效率非常高，并且支持多种索引类型，能够根据实际需求灵活配置。

• 语音转文字：Whisper (OpenAI-Whisper) Whisper 模型在多语种语音识别方面表现优异，特别适合需要高准确率和复杂语音处理的场景。选择 OpenAI-Whisper 是因为它具有强大的社区支持和持续更新的能力，保证了在未来可以获得更多的优化与增强。

• 文字转语音：Pyttsx3 Pyttsx3 是一个离线的 Python 文本转语音库，具备跨平台的优势，能够在多种操作系统上稳定运行。选择 Pyttsx3 的原因是它的轻量级和高可定制性，使得在本地化应用中表现优异，特别是对于模拟真人语音的简单需求。

3.2 数据构建

• 初始数据获取：

• 目标：获取公司官网的所有页面及资源，构建企业知识库。

• 实现方式：通过爬虫技术遍历公司官网的所有同域页面，收集页面上的文本、图片等资源。

• 工具：使用 HTTP 和 BeautifulSoup 进行页面数据抓取和分类，确保获取的资源涵盖整个网站的公开内容。

• 信息提取：

• 文本信息提取：

• 过程：从 HTML 页面中提取有意义的文本信息，过滤掉无内容的标记（如 <script>、<style>）以及其他非文本元素（如 <xml> 标记等）。

• 关键点：确保提取的信息完整且准确，避免提取无关内容。

• 图片资源提取：

• 过程：将页面中的图片资源提交给图片信息提取模型（如 microsoft/phi-3-vision-128k-instruct），生成对应的文本描述。

• 关键点：图片描述应尽可能精确，涵盖图片中与企业信息相关的核心内容。

• 数据向量化：

• 过程：将提取的文本信息/图片描述输入嵌入大模型（如 NV-Embed-QA），生成对应的向量表示。

• 工具与模型：使用 NV-Embed-QA 模型进行高效的向量化处理，确保向量兼容性好且处理速度快。

• 数据存储：

• 存储方式：使用 FAISS 进行向量存储，构建本地知识库。

• 过程：

• 将所有生成的向量存入 FAISS 数据库中，并同时存储对应资源的网页地址（meta 信息）。

• 数据校验与优化：

• 校验过程：在数据存储完成后，进行向量检索的测试，确保构建的知识库能够高效、准确地返回查询结果。

• 优化措施：根据初步测试的结果，对信息提取和向量化流程进行调优，确保在不同数据规模下系统性能稳定。

3.3 多模态整合

该智能接待系统通过多模态技术整合，实现了从用户输入到生成响应的完整闭环，为企业提供了智能、高效的客户服务体验。

• 客户输入（语音+文本）：

• 系统支持语音和文本两种输入方式。对于语音输入，采用 Whisper 模型将语音转化为文本，为后续处理提供基础。这样，客户可以通过自然语言的方式与系统互动，提升用户体验。

• RAG 搜索（检索增强生成）：

• 系统将客户输入的文本进行向量化处理，通过向量库快速匹配相关知识文档。这一过程利用预构建的知识库，通过检索找到最符合客户问题的多个文档，为生成精确回答提供依据。

• 大模型生成：

• 系统将客户输入与匹配到的相关文档构建成提示词，输入大模型进行推理。通过大模型的强大生成能力，系统能够根据上下文生成自然流畅且符合业务需求的回答。

• 语音播报：

• 最终生成的文本答案通过文字转语音技术（如 Pyttsx3）转化为语音输出，实现类似真人的解答效果，模拟企业接待场景。

四 实施步骤

4.1 环境准备

• 安装miniconda ，创建 python3.8 环境

• 下载ffmpeg 下载后配置好path，命令行输入ffmpeg -version不报错显示版本信息即可

4.2 环境搭建

• 激活python3.8环境，配置加速源

  

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

• 安装python库：langchain-nvidia-ai-endpoints，jupyterlab，langchain==0.2.14， langchain_core，matplotlib，numpy，faiss，openai，langchain-community，gradio，pyttsx3，whisper, openai-whisper

• 运行jupyter-lab，打开浏览器的jupyter notebook，新建一个notebook

4.3 代码实现

4.3.1 引入依赖测试安装正确性

from langchain_nvidia_ai_endpoints import ChatNVIDIA
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnableLambda
from langchain.schema.runnable.passthrough import RunnableAssign
from langchain_core.runnables import RunnableBranch
from langchain_core.runnables import RunnablePassthrough
 
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory

import os
import base64
import matplotlib.pyplot as plt
import numpy as np

4.3.2 配置NIM模型的访问key

步骤是访问NIM网站，注册会员获取免费额度，然后选择任意个模型，点击获取APIkey即可

os.environ["NVIDIA_API_KEY"] = "nvapi-xxx"

4.3.3 网页链接爬虫实现：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
// 这里可以修改你想爬取的最大连接数量，如果笔记本性能比较差，不建议太大值
MAX_PAGES = 500

def crawl_website(start_url, max_pages=100):
    start_host = urlparse(start_url).netloc  # Extract the host part of the start URL
    visited = set()
    queue = [start_url]
    results = [start_url]

    with open('links.txt', 'w') as file:  # Open file for writing
        while queue and len(results) < max_pages:
            current_url = queue.pop(0)
            if current_url in visited:
                continue

            try:
                response = requests.get(current_url, timeout=10)
                if response.status_code == 200:
                    visited.add(current_url)
                    results.append(current_url)
                    print('add url@' +  current_url)
                    file.write(current_url + '\n')  # Write the current URL to the file
                    soup = BeautifulSoup(response.text, 'html.parser')

                    # Find all links and add to the queue
                    for link in soup.find_all('a', href=True):
                        absolute_link = urljoin(current_url, link['href'])
                        if absolute_link not in visited and absolute_link not in results and urlparse(absolute_link).netloc == start_host:
                            queue.append(absolute_link)
            except requests.RequestException:
                continue

    return results

def read_links_file(filepath='links.txt'):
    with open(filepath, 'r') as file:
        return [line.strip() for line in file]

4.3.4 读取链接

从已爬取完成的links.txt读取或者执行链接爬取， 修改门户网站链接

import os
# 替换下面的 URL 为网站首页
start_url = "https://www.bangyan.com.cn"
if os.path.exists('links.txt'):
    found_pages = read_links_file()
    print("Read links from file")
else:
    print("File not found. Starting crawl...")
    found_pages = crawl_website(start_url)
    print("Crawled pages:")

# 去重
found_pages = set(url.strip('/') for url in found_pages)
found_pages = list(found_pages)
print(found_pages)

4.3.5 内容提取

图片则由大模型生成描述，否则仅提取文本内容：

import re
from typing import List, Union
import base64

import requests
from bs4 import BeautifulSoup

def html_document_loader(url: Union[str, bytes]) -> str:
    """
    Loads the HTML content of a document from a given URL and return it's content.

    Args:
        url: The URL of the document.

    Returns:
        The content of the document.

    Raises:
        Exception: If there is an error while making the HTTP request.

    """
    try:
        response = requests.get(url)
        content_type = response.headers.get('Content-Type', '')
        if 'image' in content_type:
            image_b64 = base64.b64encode(response.content).decode('utf-8')
            chart_reading = ChatNVIDIA(model="microsoft/phi-3-vision-128k-instruct")
            result = chart_reading.invoke( f'生成下图的中文描述, : <img src="data:image/png;base64,{image_b64}" />')
            return result.content
        html_content = response.text
    except Exception as e:
        print(f"Failed to load {url} due to exception {e}")
        return ""

    try:
        # 创建Beautiful Soup对象用来解析html
        soup = BeautifulSoup(html_content, "html.parser")

        # 删除脚本和样式标签
        for script in soup(["script", "style"]):
            script.extract()

        # 从 HTML 文档中获取纯文本
        text = soup.get_text()

        # 去除空格换行符
        text = re.sub("\s+", " ", text).strip()

        return text
    except Exception as e:
        print(f"Exception {e} while loading document")
        return ""

4.3.6 文本嵌入实现方法

from langchain.text_splitter import RecursiveCharacterTextSplitter

# text_splitter = CharacterTextSplitter(chunk_size=400, separator=" ")

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=400,
    chunk_overlap=0,
    length_function=len,
)
def create_embeddings(embedding_path: str = "./embed"):

    embedding_path = "./embed"
    print(f"Storing embeddings to {embedding_path}")

    urls =  found_pages

    for url in urls:
        print('load url@' + url)
        document = html_document_loader(url)
        texts = text_splitter.create_documents([document])
        try:
            index_docs(url, text_splitter, texts, embedding_path)
        except Exception as e:
            print("Generated embedding fail")
            print(e)
        else:
            print("Generated embedding successfully")

4.3.7 存储嵌入向量

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
from langchain.vectorstores import FAISS
def clean_text(text):
    # 移除无用的换行符和多余空格
    return text.replace("\\n", " ").strip()

embeddings = NVIDIAEmbeddings(model="NV-Embed-QA")
def index_docs(url: Union[str, bytes], splitter, documents: List[str], dest_embed_dir) -> None:
    """
    Split the document into chunks and create embeddings for the document

    Args:
        url: Source url for the document.
        splitter: Splitter used to split the document
        documents: list of documents whose embeddings needs to be created
        dest_embed_dir: destination directory for embeddings

    Returns:
        None
    """
    docs = []
    metadatas = []
    for document in documents:
        texts = splitter.split_text(document.page_content)
        docs.extend(texts)
        metadatas.extend([{"source":url}] * len(texts))
    
    docs = [clean_text(text) for text in docs]
    
    try:
        # Attempt to load an existing index if it exists
        store = FAISS.load_local(folder_path=dest_embed_dir, embeddings=embeddings, allow_dangerous_deserialization=True)
    except:
        # If the index doesn't exist, create a new one
        store = FAISS.from_texts(docs, embeddings, metadatas=metadatas)
    else:
        store.add_texts(docs, metadatas=metadatas)
    store.save_local(folder_path=dest_embed_dir)

4.3.8 执行嵌入

--- 只需要执行一次构建向量库

# 只需要执行一次的
create_embeddings()

4.3.9 RAG实现

from langchain.chains.conversational_retrieval.prompts import CONDENSE_QUESTION_PROMPT, QA_PROMPT
from langchain.chains import ConversationalRetrievalChain, LLMChain
from langchain.chains.question_answering import load_qa_chain

llm = ChatNVIDIA(model="meta/llama-3.1-405b-instruct", temperature=0.8, max_tokens=1000, top_p=1.0)
embedding_path = "embed/"
docsearch = FAISS.load_local(folder_path=embedding_path, embeddings=embeddings, allow_dangerous_deserialization=True)

memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
question_generator = CONDENSE_QUESTION_PROMPT | llm

chat = ChatNVIDIA(model="meta/llama-3.1-405b-instruct", temperature=0.1, max_tokens=1000, top_p=1.0)

doc_chain = load_qa_chain(chat , chain_type="stuff", prompt=QA_PROMPT)
retriever = docsearch.as_retriever()
# helper function 用于Debug
def print_and_return(x):
    print(x)
    return x

def welcome( user_input, ):
    doc_chain = load_qa_chain(chat , chain_type="stuff", prompt=QA_PROMPT)
    prompt = ChatPromptTemplate.from_messages(
        [
            (
                "system",
                "Answer solely based on the following context:\n<Documents>\n{context}\n</Documents>, 禁止透漏你是从文档中获取的信息,必须以一名公司接待人员的口吻回答.必须用中文回答",
            ),
            ("user", "{question}"),
        ]
    )
    
    chain = (
        {"context": retriever, "question": RunnablePassthrough()}
        | RunnableLambda(print_and_return)
        | prompt
        | RunnableLambda(print_and_return)
        | llm
        | StrOutputParser()
    )
    rag_result = chain.invoke(user_input)
    return rag_result

4.3.10 测试RAG

# answer = welcome('介绍下公司')
# print(answer)

4.3.11 文字转语音实现方法

import pyttsx3
import os

def tts_function(text):
    # 使用 pyttsx3 将文本转为语音并保存为音频文件
    engine = pyttsx3.init()
    audio_file = "output.mp3"
    engine.save_to_file(text, audio_file)
    engine.runAndWait()
    return audio_file

def play_tts(text):
    audio_path = tts_function(text)
    return audio_path

4.3.12 测试转语音效果

# path = play_tts(answer)
# print(path)

4.3.13 根据文字输入调用rag再输出语音的包装方法

def audioRole(user_input,):
    llmAnswer = welcome(user_input)
    return play_tts(llmAnswer)

4.3.14 根据录音文件地址读取并转为文本的方法

import gradio as gr
import whisper

# 加载 Whisper 模型
model = whisper.load_model("small")

def transcribe_audio(audio):
    # 使用 Whisper 模型进行语音转文字
    result = model.transcribe(audio)
    return result["text"]

4.3.15 语音或文本输入 -> RAG -> 语音输出流程的包装方法

def audioOrText(source,user_input):
    print(user_input,source)
    if source is not None:
        user_input = transcribe_audio(source)
    print(user_input)
    if len(user_input):
       return audioRole(user_input)

4.3.16 gradio界面配置

import gradio as gr
multi_modal_chart_agent = gr.Interface(fn=audioOrText,
                    inputs=[gr.Audio(sources=['microphone'], type="filepath"), 'text'], #gr.Image(label="Upload image", type="filepath"),
                    outputs=['audio'],
                    title="Multi Modal chat agent",
                    description="Multi Modal chat agent",
                    allow_flagging="never")

multi_modal_chart_agent.launch(debug=True, share=False, show_api=False, server_port=5000, server_name="0.0.0.0")

4.4 测试和调优

• 利用4.3.10 测试rag效果，利用4.3.12测试转语音的效果

• 分别测试 “介绍下公司的产品”“我擅长xxxx，有适合我的岗位吗?"等输入情况下的输出

• 调优：

• 一开始可能会为了节省额度，使用比较小的模型，这部分可以慢慢的调大，够用即可

• prompt需要根据实际情况进行适当的调整，这个真的很重要

4.5 部署

如果根据4.3的步骤，创建了完整的notebook，依次运行即可。最后gradio的代码运行后，使用浏览器访问：localhost:5000，即可开始体验和自己的虚拟接待员对话了。

五 使用场景和界面展示

5.1 使用场景

• 咨询公司信息与联系方式：客户首次接触公司网站，想快速了解公司的基本信息、历史、联系方式等。通过智能接待系统，客户可以直接询问“你们公司在哪？”或“如何联系销售部门？”等问题，系统会根据官网数据快速检索并生成答案，以语音或文本形式即时回复。

• 询问公司的销售产品：客户有明确的购买需求，但不清楚公司产品的详细信息。通过智能接待系统，客户可以咨询“你们有哪些产品？”、“这款产品有哪些功能？”等问题，系统会基于企业产品介绍页面中的内容进行检索，并提供精准的产品信息介绍。

• 咨询招聘岗位信息：求职者希望了解公司当前的招聘信息及岗位要求。智能接待系统支持求职者提问如“你们公司现在招什么职位？”、“这个岗位的要求是什么？”等问题，系统会从招聘页面提取相关信息并生成回答，帮助求职者快速了解符合自己期望的职位。

5.2 原型界面展示

界面部分，上正式环境还是可以适当的调整一下：

• 左侧为录音界面，右侧为语音响应的播放界面

六 遇到的问题和解决记录

• 向量嵌入失败（报错400）：

• 问题描述：在进行向量化处理时，系统出现了嵌入失败的错误（HTTP 400 Bad Request）。这个问题通常是由输入数据格式不正确或分词处理不当引起的。

• 解决措施：分析后发现是由于文本分割过程中分词处理不佳，导致输入文本过长或不符合模型要求。为此，采用了 RecursiveCharacterTextSplitter 替代原本的 CharacterTextSplitter，通过递归的方式更灵活地分割文本，使得嵌入过程更加稳定和符合规范。

• 语音解析不准确：

• 问题描述：在部分嘈杂或音质较差的环境中，系统的语音识别效果不理想，导致转录结果与实际内容偏差较大。

• 解决措施：为提高语音识别的准确性，决定更换更大、更复杂的语音转文本模型。更大的模型通常具备更强的泛化能力和对多噪音环境的鲁棒性，能够更准确地解析复杂语音。

• 语音转文字报错找不到文件：

• 问题描述：在进行语音转文本的过程中，系统频繁报错找不到必要的依赖文件，特别是在处理 Whisper 模型时。

• 解决措施：Whisper 模型依赖于 FFmpeg 工具进行音频处理。分析后发现问题出在缺少 FFmpeg。通过安装 FFmpeg 并正确配置路径后，确保 Whisper 模型能够顺利加载和使用音频文件，解决了文件找不到的问题。

七 总结和展望

7.1 项目评估：

本项目虽然起步较晚，但在实践中证明了其具有广阔的应用前景。通过多次迭代测试，在理想环境下（如较好的收音条件下），系统能够快速且准确地给出客户所需的答案，回答与实际需求的偏差较小。然而，系统在实际运行中仍然面临一些挑战：

• 语音转文字效果：在嘈杂环境或音质较差的情况下，语音识别的准确度存在下降，噪声过滤能力有待提升。

• 语音输出情感欠缺：虽然系统的语音输出清晰，但缺乏情感表达，无法模拟更为自然的真人对话效果。

7.2 未来方向：

为进一步提升系统的性能与用户体验，未来的优化方向主要包括以下几方面：

1. 数据爬取支持更多资源类型：在现有文本和图片提取基础上，增加对视频、PDF 等多种资源的支持，丰富知识库的内容和形式，使系统能够更全面地回答用户问题。

2. 会话记忆支持：引入会话记忆功能，允许系统在多轮对话中保持上下文关联，使得交互更加自然、连贯。

3. 并发支持优化：针对高并发环境进行优化，提高系统在多用户同时访问时的响应速度和稳定性，确保在峰值流量下的服务质量。

4. 语音输出的拟人化：进一步优化语音合成技术，使输出语音更富有情感和自然性，模拟更加贴近真人的表达方式。

5. 自动语音检测与提交：改进录音机制，使系统能够自动检测并处理客户的语音输入，无需用户手动按下录音按钮，从而提供更顺畅的交互体验。

八、参考资料

[1]、基础环境配置教程

[2]、langchain文档

[3]、Nvidia NIM平台使用参考