SillyTarvern + HS2 + ComfyUI技术构想与初步实现

内容简介

本篇内容是“使用基于HS2的模型，结合ComfyUI的重绘功能，接入酒馆来保证人物的一致性。”的文生图流程的简单实现与展示。并非教程，并非教程，并非教程！

---

叠甲

1.  内容：本篇不是教程，由于本人技术力不够，还无法实现简单的部署。后续有精力和时间的话可能会写一篇部署和使用的流程（不保证有用）。
2. 限制：由于涉及内容不太和谐，这里只发我写的代码的相关内容，相应的软件我会把部分能发的视频教程发出来，不能发的就各凭本事了。
3. 效果：本篇只是简单实现，由于本人对酒馆和ComfyUI都不太熟悉，而且动作库实在懒得写，效果其实一般，所以只是提供一个思路。
4. 欢迎指正：实现之前基本没有了解相关的技术实现，如果有类似的实现方法的话欢迎指出。而且对C#和Unity也是0基础，直接上手写了，所以一些实现方法和代码设计全是一摊狗屎，有改进的方案的欢迎提出。

---

效果展示

角色卡是在网上随便找的，找了一个描述比较适合个人场景生成的卡（与我的xp无关）。

上图是我自己根据卡的封面捏的人物，只调了调发型和衣服以及对应的颜色，由文本来生成动作和视角等。

这个则是开启了发型和衣服控制，由文本控制发型和衣服生成的图片。

文本内容比较危险我就不放了。

可以看出体型和身材的一致性是很好的。当然与文本的契合程度就不好评价了。这主要是用来控制动作的json数据我还没咋写（需要对照游戏一个个自己取名字，比如“自然站立”，“水手服”等，很痛苦）。而且对于文本的解析只有一个简单的文本解析，和字符串匹配的修正。内容完全取决于大模型是否够聪明。我这里用的是deepseek的chat模型，实际用起来其实还行。

---

实现思路 

这里简单的说一下实现的思路：

首先在上面视频里已经有了酒馆到ComfyUI的连接方法和教程了，所以实际上我的代码就是ComfyUI的一个自定义节点。这个节点自带文本解析，将文本解析为可以控制姿势、样貌等信息的json格式，通过端口发送给HS2来控制模型。然后再从HS2通过端口将图片返还给ComfyUI。

综上，我只需要写一个ComfyUI的自定义插件，再写一个HS2的游戏插件即可。

对于熟悉游戏开发或者至少熟悉C#脚本的人来说，这些都很容易实现。但由于我是零基础，只能现学现用了，但好在在视频和kimi的帮助下，跌跌撞撞的也算是完成了这个流程的基本搭建。

下面这个图展示了工作的整体流程：

---

教程来源与感谢

在编写时的教程和大部分的资源都来着B站的大佬们。这里给出我看过的大部分视频链接：

C#相关

【保姆级C#入门教程】2024最新版C#零基础全套教程，包含所有干货！60P带你从小白到大神！少走99%的弯路！（.NET/开发/C语言）B1391_哔哩哔哩_bilibili

langchain相关

【合集】LangChain AI 完整开源生态讲解 |DeepSeek v3 构建RAG | LCEL 入门 | 可视化Multi-Agent开发实战_哔哩哔哩_bilibili

2025吃透LangChain大模型全套教程（LLM+RAG+OpenAI+Agent）通俗易懂，学完即就业!拿走不谢，学不会我退出IT圈！！！_哔哩哔哩_bilibili

 ComfyUI相关

DeepSeek R1本地部署3，酒馆SillyTavern+Comfyui生图+TTS语音+手机端连接+破限+kobold安装+预设角色世界书教程-T8整合包_哔哩哔哩_bilibili

Comfyui实用工作流教程9期——真人照片卡通风格化转绘_哔哩哔哩_bilibili

如何自己开发ComfyUI自定义节点_哔哩哔哩_bilibili

ComfyUI插件简易开发指南（付费版）_哔哩哔哩_bilibili

 Unity相关

【Unity教程】零基础带你从小白到超神_哔哩哔哩_bilibili

 BepInEx相关

【游戏Mod开发教程】01_介绍和安装开发环境_哔哩哔哩_bilibili

基于BepInEx的Unity游戏mod开发入门（上）_哔哩哔哩_bilibili

 SillyTarvern相关

DeepSeek R1本地部署3，酒馆SillyTavern+Comfyui生图+TTS语音+手机端连接+破限+kobold安装+预设角色世界书教程-T8整合包_哔哩哔哩_bilibili

 上面的大佬的开源精神值得尊敬，学到了不少干货，当然还有不可获取的： 

Kimi - 会推理解析，能深度思考的AI助手

---

存在问题

1. 人物眨眼未关闭
2. 摄像头看向人物未实现
3. 动作库单一
4. 图片裁剪问题
5. 文本方案过于简单
6. 无法自动获取人物头像以及无法自动加载定制角色
7. 背景重绘流程未实现
8. 酒馆prompt设置目前使用默认设置

---

 后续展望（如果有时间的话）

1. 动作库丰富（赛博搬砖）
2. 更好的文本解析（使用向量数据库和本地的向量化模型）
3. 更好的comfyUI工作流（加入背景重绘和风格选择）

代码的压缩包传上去了，有啥问题和建议或者有兴趣的请私信我。 Ciallo～(∠・ω< )⌒★