AI语音助手在线版本

电脑端大模型部署

安装配置环境

安装配置Python环境

安装Miniconda：传送门

conda create -n ov python=3.10

conda activate ov-Qwen

pip换国内源

阿里云开源软件镜像站

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

安装OpenVINO和其它工具包

pip install openvino-genai==2024.3.0 optimum[openvino]

pip install opencv-python jupyter notebook openai appbuilder-sdk qianfan

下载Qwen2-7B-Instruct开源大模型

pip install modelscope

modelscope download --model qwen/Qwen2-7B-Instruct

打开Qwen2-7B-Instruct-GGUF模型文件列表，我们选择qwen2-7b-instruct-q5_k_m.gguf并下载：

# 用服务器可行
optimum-cli export openvino --model "qwen/Qwen2-7B-Instruct" --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8 "Qwen2-7B-Instruct-int4-ov"

直接下载：

服务器后端搭建

1.Node.js 和 npm下载安装

sudo apt purge nodejs
sudo apt autoremove
sudo apt update
sudo apt install -y curl
curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash -
sudo apt install nodejs build-essential -y

sudo apt install npm

2.创建一个新的项目目录，并初始化一个 Node.js 项目：

mkdir audio-upload-server
cd audio-upload-server
npm init -y

接着，安装需要的依赖库 Express 和 Multer：

# 使用淘宝镜像源
npm config set registry https://registry.npmmirror.com/

npm install express multer

3. 创建服务器端代码

在项目根目录中，创建一个 server.js 文件。这将是我们服务器的主文件。

touch server.js

在 server.js 中，编写以下代码：

// 导入所需的库
const express = require('express');
const multer = require('multer');
const path = require('path');
const fs = require('fs');

// 创建 Express 应用
const app = express();

// 设置文件存储目录
const uploadDirectory = path.join(__dirname, 'uploads');
if (!fs.existsSync(uploadDirectory)) {
    fs.mkdirSync(uploadDirectory);
}

// 使用 Multer 设置文件上传
const storage = multer.diskStorage({
    destination: function (req, file, cb) {
        cb(null, uploadDirectory); // 上传的目录
    },
    filename: function (req, file, cb) {
        // 保留原始文件名
        cb(null, file.originalname);
    }
});

const upload = multer({ storage: storage });

// 文件上传的 POST 路由
app.post('/upload', upload.single('file'), (req, res) => {
    if (!req.file) {
        return res.status(400).send('No file uploaded.');
    }
    // 成功上传
    console.log('File received:', req.file);
    res.status(200).send('File uploaded successfully.');
});

// 启动服务器，监听端口 3000
app.listen(3000, () => {
    console.log('Server running at http://localhost:3000');
});

4. 测试服务器

确保服务器已经启动并监听在端口 3000 上，运行以下命令启动服务器：

node server.js

你应该看到控制台显示：

Server running at http://localhost:3000

5. 使用 Postman 或 cURL 测试文件上传

你可以通过命令行使用 cURL 来测试：

curl -X POST http://localhost:3000/upload -F "file=@/home/t/Downloads/recording.pcm"