大模型驱动的虚拟主播-AI数字人直播(代码+教程)

构建一个基于LLM（大语言模型）和Stable Diffusion的B站虚拟主播是一个相当有趣的项目，它结合了最新的AI技术来创造一种互动性和娱乐性极高的直播体验。下面我将为你详细介绍如何设置这样的系统，包括所需的软件环境配置以及实现过程中的关键步骤。

1. 软件环境准备

• Python：确保安装的是Python 3.11.7版本。可以访问Python官网下载相应版本。
• 依赖库：根据你的requirements.txt文件内容通过pip install -r requirements.txt命令安装所有必要的Python库。
• VTube Studio：首先需要拥有Steam账号并从Steam平台下载VTube Studio。考虑到地区限制，请使用适当的方法注册香港地区的账号以顺利下载该应用。
• OBS Studio：用于视频捕捉与直播流处理。可直接从提供的链接或官方网站获取最新版。
• 虚拟声卡：为了能够将生成的声音输出至直播软件中，你需要安装如VBCABLE之类的虚拟音频设备。
• 直播姬：Bilibili官方推出的直播助手软件，支持多种直播功能。
• blivechat：一款可以帮助你更好地管理和展示直播间内弹幕的应用程序。

2. TTS (Text-to-Speech) 模型服务

TTS是让计算机读出文本内容的技术，在此案例中用来为虚拟主播赋予声音。目前你们采用了微软开源的解决方案；未来计划转向更先进的Bert-VITS2模型，这是一款基于Transformer架构、专为中文设计的高质量语音合成工具。

3. LLM (Large Language Model) 模型服务

对于文字对话部分，利用了langchain框架配合ChatGLM3-6B模型，并通过TensorRT-LLM进行性能优化。这种组合能够在保持良好响应速度的同时提供丰富而自然的语言交流能力。

4. 中文Stable Diffusion模型服务

选用的是来自IDEA-CCNL团队开发的Taiyi Stable Diffusion模型，经过DreamBooth微调后能够生成符合特定风格要求的人物图像。

5. 直播间装饰与集成

• 利用VTube Studio创建Live2D形象作为虚拟主播的视觉呈现。
• 通过OBS Studio设置虚拟摄像头源，将Stable Diffusion生成的画面实时显示在直播间内。
• 使用blivechat插件增强观众互动体验，比如定制化的弹幕样式等。
  

实现流程概述

1. 配置好上述提到的所有软硬件环境。
2. 开发或部署TTS服务端，使其能够接收文本输入并返回对应的语音文件。
3. 同样地，搭建起基于LLM的文字聊天服务器，处理用户的提问并给出回应。
4. 设置Stable Diffusion图像生成接口，根据需求调整参数以获得满意的画面效果。
5. 在OBS Studio里配置好各种来源，特别是添加虚拟摄像头作为主要视频输入源。
6. 最后，开启直播前确保所有组件正常工作，并测试整个流程是否流畅无误。

请注意，由于涉及到多个复杂系统的整合，实际操作过程中可能遇到各种预料之外的问题，因此建议逐步实施每一步骤，并随时做好调试准备。希望这份指南对你有所帮助！

代码

# -*- coding: utf-8 -*-
import asyncio

import blivedm
import blivedm.models.open_live as open_models
import blivedm.models.web as web_models

# 在开放平台申请的开发者密钥
ACCESS_KEY_ID = ''
ACCESS_KEY_SECRET = ''
# 在开放平台创建的项目ID
APP_ID = 0
# 主播身份码
ROOM_OWNER_AUTH_CODE = ''


async def main():
    await run_single_client()


async def run_single_client():
    """
    演示监听一个直播间
    """
    client = blivedm.OpenLiveClient(
        access_key_id=ACCESS_KEY_ID,
        access_key_secret=ACCESS_KEY_SECRET,
        app_id=APP_ID,
        room_owner_auth_code=ROOM_OWNER_AUTH_CODE,
    )
    handler = MyHandler()
    client.set_handler(handler)

    client.start()
    try:
        # 演示70秒后停止
        # await asyncio.sleep(70)
        # client.stop()

        await client.join()
    finally:
        await client.stop_and_close()


class MyHandler(blivedm.BaseHandler):
    def _on_heartbeat(self, client: blivedm.BLiveClient, message: web_models.HeartbeatMessage):
        print(f'[{client.room_id}] 心跳')

    def _on_open_live_danmaku(self, client: blivedm.OpenLiveClient, message: open_models.DanmakuMessage):
        print(f'[{message.room_id}] {message.uname}：{message.msg}')

    def _on_open_live_gift(self, client: blivedm.OpenLiveClient, message: open_models.GiftMessage):
        coin_type = '金瓜子' if message.paid else '银瓜子'
        total_coin = message.price * message.gift_num
        print(f'[{message.room_id}] {message.uname} 赠送{message.gift_name}x{message.gift_num}'
              f' （{coin_type}x{total_coin}）')

    def _on_open_live_buy_guard(self, client: blivedm.OpenLiveClient, message: open_models.GuardBuyMessage):
        print(f'[{message.room_id}] {message.user_info.uname} 购买 大航海等级={message.guard_level}')

    def _on_open_live_super_chat(
        self, client: blivedm.OpenLiveClient, message: open_models.SuperChatMessage
    ):
        print(f'[{message.room_id}] 醒目留言 ¥{message.rmb} {message.uname}：{message.message}')

    def _on_open_live_super_chat_delete(
        self, client: blivedm.OpenLiveClient, message: open_models.SuperChatDeleteMessage
    ):
        print(f'[{message.room_id}] 删除醒目留言 message_ids={message.message_ids}')

    def _on_open_live_like(self, client: blivedm.OpenLiveClient, message: open_models.LikeMessage):
        print(f'[{message.room_id}] {message.uname} 点赞')


if __name__ == '__main__':
    asyncio.run(main())

最后

欢迎留言讨论，获取代码！