BUPT Meeseeks——BUPT程序设计（STEP2：北邮通服务器开发）

Aureliano_Buendia

已于 2024-05-24 18:26:03 修改

阅读量1.8k

点赞数 21

分类专栏：程序设计综合实验文章标签：语音识别人工智能 python whisper https

于 2024-05-24 17:09:48 首次发布

本文链接：https://blog.csdn.net/weixin_72501900/article/details/139176518

版权

程序设计综合实验专栏收录该内容

3 篇文章 0 订阅

订阅专栏

2、修改大小：size_change.py

七、调用api生成回答：

1、将关键信息填写为你的申请的api：api.py

2、写一个生成回答的函数，方便调用：answer.py

八、调用，生成本地服务器

注：开源地址：https://github.com/VeinsureLee/School-Meeseeks?tab=readme-ov-file#2.1

一、设计思路

1、功能：

文字转语音

语音转文字

错字过滤

2、逻辑框架

考虑到前端有俩个页面，分别是以文字为主的类似微信聊天的页面，和以语音为主的类似gpt的界面，而在文字聊天界面中的播放按钮性质特殊，综合性考虑应该将服务器接受的信息分为两类：一类是用户提问的问题消息，如，下图中的text（chat）和voice（chat）；一类是用户想要语音播放的文本信息，如，下图中的chat to voice。

故逻辑框架为：

服务器接收用户发送文本数据提问，保存到文本历史记录文件夹，判断相关性，生成回答，返回回答。

服务器接收用户发送语音数据提问，保存到语音历史记录文件夹，识别为文本，纠正错字，保存到文本历史记录文件夹，返回提问的问题，判断相关性，生成回答，返回回答。

用户请求语音播放，发送chat to voice请求，服务器在临时文件夹中（change文件夹）转化为语音，作为响应返回前端。

二、文字转语音

调用python的pyttvx3进行文字转语音，textToVoice.py如下：

# 该函数编写文字转语音部分
import os
import pyttsx3
import datetime


def ttv(text, VOICE_FOLDER):
    engine = pyttsx3.init()
    engine.save_to_file(text, os.path.join(VOICE_FOLDER, 'voice.mp3'))
    engine.runAndWait()

三、语音转文字

采用openai开源的whisper模型进行语音识别，voiceToText.py如下：

# 该模块编写函数进行语音转文字
import whisper


def vtt(file_path, LANGUAGE, size):
    model = whisper.load_model(size)
    result = model.transcribe(file_path, language=LANGUAGE)
    recognized_text = result["text"]
    print(result)
    return recognized_text

四、错字过滤

1、模型训练

采用WordVec库，训练一个模型（训练集为corpus.txt）,模型名称自定义。model_training.py:

# 训练模型（拼音向量），训练集：corpus.txt
import jieba
from gensim.models import Word2Vec
# 定义读取文件和分词的函数
def read_corpus(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        for line in file:
            # 使用jieba进行分词
            words = jieba.lcut(line.strip())
            # 对分词结果进行进一步处理，将自定义词典中的词按照自定义词典的方式分开
            processed_words = []
            for word in words:
                if word in ["北京邮电大学"]:
                    processed_words.extend(["北京", "邮电", "大学"])
                else:
                    processed_words.append(word)
            yield processed_words

# 定义文件路径（假设文件名为corpus.txt）
file_path = 'corpus.txt'

# # 读取语料库并分词
sentences = list(read_corpus(file_path))

# 训练Word2Vec模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 保存模型
MODEL_NAME = ""         # 此处填写你所想要的模型名称
model.save(MODEL_NAME)

2、利用模型实现过滤错字

利用训练好的模型，完成拼音过滤（训练集训练数据要足够，否则训练模型的识别效果不强）。test.py:

# 调用模型，完成拼音过滤
from gensim.models import Word2Vec
import jieba
# 加载模型
# 填写模型名称
MODEL_NAME = ""
model = Word2Vec.load(MODEL_NAME)


# 替换关键词函数
def replace_similar_pronunciation_words(sentence, target_word, threshold=0.8):
    replaced_sentence = []
    sentence_split = jieba.lcut(sentence)
    for word in sentence_split:
        if word not in model.wv:
            print(word, "pass")
            replaced_sentence.append(word)
            continue
        # 计算词语与目标词语的相似度
        similarity = abs(model.wv.similarity(word, target_word))
        print(word, similarity)
        if similarity > threshold:
            replaced_sentence.append(target_word)
        else:
            replaced_sentence.append(word)

    return ''.join(replaced_sentence)


def correct(sentence, target_words, threshold=0.6):
    for target_word in target_words:
        print("\n", target_word, "检测：")
        sentence = replace_similar_pronunciation_words(sentence, target_word, threshold)
        print("纠正", target_word, "后的句子：", sentence)
    return sentence


def replace_with_most_similar_word(sentence, threshold=0.8):
    replaced_sentence = []
    sentence_split = jieba.lcut(sentence)

    for word in sentence_split:
        if word not in model.wv:
            print("pass", word)
            replaced_sentence.append(word)
            continue

        # 查询最相似的词
        similar_words = model.wv.most_similar(word, topn=1)
        if similar_words:
            similar_word, similarity = similar_words[0]
            print(word, similar_word, similarity)
            if similarity > threshold:
                replaced_sentence.append(similar_word)
            else:
                replaced_sentence.append(word)
        else:
            replaced_sentence.append(word)

    return ''.join(replaced_sentence)


if __name__ == '__main__':
    # 测试
    sentence = input("sentence:")
    target_word = "target words:"
    print(jieba.lcut(sentence))
    replaced = correct(sentence)
    print("原句:", sentence)
    print("替换后:", replaced)