我用阿里最有诚意的开源，拼成了开源的GPT-4o 之一

在看了阿里最有诚意的开源项目：FunAudioLLM 我就有了个想法，为什么不把它搞成个语音入，语音出的家伙呢？

这样，也许我就有了J.A.R.V.I.S 的基础部分，语音对话能力。因为FunAudioLLM提供了语音输入与语音输出两个模型(输出还提供声音定制能力)。

大脑，也有啊，阿里的另一个诚意开源项目QWen2，也是开源模型里能打的扛把子啊。

于是，你看，下面这东西是不是很完美？

实际效果我们看看吧，它是一个完全基于Web的版本，当然了，如果你愿意改成其它类型的App也不是啥难事。反正现在有GPT一类的助手，Wrap一个App也是很轻松的事！

给你个最终的生成结果声音听一下：

安装

这个过程也没有想象的那么麻烦，安装三个基础模型的运行环境。

第一个我选择了 CosyVoice

其实是可以完全按官方提供的说明进行安装与配置的，不过你要考虑国内的环境问题，可能有一些要特殊处理。

#下面这几步居然需要魔法了，你敢信？？？？？程序员得罪谁了？``git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git``# If you failed to clone submodule due to network failures, please run following command until success``cd CosyVoice``git submodule update --init --recursive

安装conda这事不用说了，如果你不会用conda，那你大概率也不会看到这篇文章吧。

接来来假设你用的是Ubuntu系统，我的是22.04

conda create -n cosyvoice python=3.8``conda activate cosyvoice``# pynini is required by WeTextProcessing, use conda to install it as it can be executed on all platform.``conda install -y -c conda-forge pynini==2.1.5``pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com``   ``# If you encounter sox compatibility issues``# ubuntu``sudo apt-get install sox libsox-dev

到这儿，环境肯定是安装完了。下载模型吧，国内的modescope提供的下载镜像真的是快啊。

你可以运行python命令，然后在python的交互过程中执行下面的python代码。

# SDK模型下载``from modelscope import snapshot_download``snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')``snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')``snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')``snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')``   

测试一下

export PYTHONPATH=third_party/Matcha-TTS #这一步很重要``   

下面的代码存成个python文件，就可以直接测试执行一下了。

from cosyvoice.cli.cosyvoice import CosyVoice``from cosyvoice.utils.file_utils import load_wav``import torchaudio``   ``cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-SFT')``# sft usage``print(cosyvoice.list_avaliable_spks())``output = cosyvoice.inference_sft('你好，我是通义生成式语音大模型，请问有什么可以帮您的吗？', '中文女')``torchaudio.save('sft.wav', output['tts_speech'], 22050)``   ``cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M')``# zero_shot usage, <|zh|><|en|><|jp|><|yue|><|ko|> for Chinese/English/Japanese/Cantonese/Korean``prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)``output = cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k)``torchaudio.save('zero_shot.wav', output['tts_speech'], 22050)``# cross_lingual usage``prompt_speech_16k = load_wav('cross_lingual_prompt.wav', 16000)``output = cosyvoice.inference_cross_lingual('<|en|>And then later on, fully acquiring that company. So keeping management in line, interest in line with the asset that\'s coming into the family is a reason why sometimes we don\'t buy the whole thing.', prompt_speech_16k)``torchaudio.save('cross_lingual.wav', output['tts_speech'], 22050)``   ``cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-Instruct')``# instruct usage, support <laughter></laughter><strong></strong>[laughter][breath]``output = cosyvoice.inference_instruct('在面对挑战时，他展现了非凡的<strong>勇气</strong>与<strong>智慧</strong>。', '中文男', 'Theo \'Crimson\', is a fiery, passionate rebel leader. Fights with fervor for justice, but struggles with impulsiveness.')``torchaudio.save('instruct.wav', output['tts_speech'], 22050)``   

如果你能顺利得到几个生成的音频文件，那就说明你成功了一大半了。

第二个是SenseVoice

如果你顺利了使用了CosyVoice，那下面这操作的就很简单了。

git clone https://github.com/FunAudioLLM/SenseVoice.git` `cd SenseVoice``pip install -r requirements.txt #如果你想快一点儿，可以加上 -i https://pypi.tuna.tsinghua.edu.cn/simple``   

接下来执行下面的测试代码

from model import SenseVoiceSmall``   ``model_dir = "iic/SenseVoiceSmall"``m, kwargs = SenseVoiceSmall.from_pretrained(model=model_dir)``   ``   ``res = m.inference(`    `data_in="https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav",`    `language="zh", # "zn", "en", "yue", "ja", "ko", "nospeech"`    `use_itn=False,`    `**kwargs,``)``   ``print(res)

如果能正常执行，你会得到一个输出如下：

([{'key': 'wav_file_tmp_name', 'text': '<|zh|><|NEUTRAL|><|Speech|><|woitn|>欢迎大家来体验打摩院推出的语音识别模型'}], {'load_data': '0.338', 'extract_feat': '0.020', 'batch_data_time': 5.58})

第三个是Ollama + Qwen2

现在你已经验证了可以正常获得STT与TTS了。接下来自然是大脑Qwen2了。考虑到做成服务的便捷与可替换性，我们选择了个比较流行的LLM服务框架：Ollama。这是一个专门运行llama一系列的服务。

#linux为主的一个安装方法，前提你已经安装好了nvidia的一系列驱动了。``   ``sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama``sudo chmod +x /usr/bin/ollama``sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama``   

#编辑一个下面的文件：/etc/systemd/system/ollama.service

[Unit]``Description=Ollama Service``After=network-online.target``   ``[Service]``ExecStart=/usr/bin/ollama serve``User=ollama``Group=ollama``Restart=always``RestartSec=3``   ``[Install]``WantedBy=default.target

#再执行下面的服务命令，重新启动与设置一下服务

sudo systemctl daemon-reload``sudo systemctl enable ollama``   

#再启动一下

sudo systemctl start ollama``   

#再运行一下 ollama 执行特定的模型，好了，你就能进入到一个简单的对话界面。如果好用了，就是好用了。

ollama run qwen2:7b``   

现在你可以确认，所有的基础部件都完成了安装了！

接口调用

---

我写了个简单的python文件，把它们都调用了一下。

import sys``   ``sys.path.append("/data/home/todo/SenseVoice")` `sys.path.append("/data/home/todo/CosyVoice")` `import requests``from model import SenseVoiceSmall``from cosyvoice.cli.cosyvoice import CosyVoice``import torchaudio``   ``# Paths and URLs``audio_file_path = "/data/home/todo/aliAllInOne/asr_example_zh.wav"  # Replace with the path to your audio file``ollama_url = "http://localhost:11434/api/generate"``cosyvoice_model_path = '/data/home/todo/CosyVoice/pretrained_models/CosyVoice-300M-SFT'``generated_audio_path = "/data/home/todo/aliAllInOne/generated_audio.wav"``   ``# Load the SenseVoiceSmall model``model_dir = "iic/SenseVoiceSmall"``model_dir = "/home/todo/.cache/modelscope/hub/iic/SenseVoiceSmall"``m, kwargs = SenseVoiceSmall.from_pretrained(model=model_dir)``   ``# Step 1: Perform inference using SenseVoiceSmall``def call_sense_voice_small(audio_path, language="zh"):`    `res = m.inference(`        `data_in=audio_path,`        `language=language,`        `use_itn=False,`        `**kwargs,`    `)`    `return res[0][0]['text']`    `#return res``   ``# Step 2: Call the Ollama service``def call_ollama_service(content):`    `response = requests.post(`        `ollama_url,`        `json={`            `"model": "qwen2:7b",`            `"prompt": content,`            `"format": "json",``            "stream": False`        `}`    `)`    `print(response)`    `print(response.status_code, type(response.status_code))`    `if response.status_code == 200:`        `return response.json()["response"]`    `else:`        `return "Error: Unable to get response from Ollama service."``   ``# Step 3: Generate speech using CosyVoice``def generate_speech_with_cosyvoice(text, speaker="中文女"):`    `cosyvoice = CosyVoice(cosyvoice_model_path)`    `output = cosyvoice.inference_sft(text, speaker)`    `torchaudio.save(generated_audio_path, output['tts_speech'], 22050)``   ``# Main function to execute the steps``def main():`    `# Step 1: Call SenseVoiceSmall`    `sense_voice_result = call_sense_voice_small(audio_file_path)`    `print("SenseVoiceSmall Result:", sense_voice_result)``   `    `# Step 2: Call Ollama Service`    `ollama_result = call_ollama_service(sense_voice_result)`    `print("Ollama Service Result:", ollama_result)``   `    `# Step 3: Generate and save the speech`    `generate_speech_with_cosyvoice(ollama_result)`    `print(f"Generated audio saved to {generated_audio_path}")``   ``if __name__ == "__main__":`    `main()

你那生成的语音是什么呢？下面的是我的程序生成的！

界面

交给你自己完成吧，毕竟我也搞了一个基础了嘛。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】