基于wasmedge方法使用openbayes部署Yi模型，并调试CLI对话和webui

中间有一些容易出错的点，我尽量写的详细一些。

准备工作

首先，打开https://openbayes.com/ 网站，注册openbayes。注册后应该会赠送三个小时的4090算力，可以尝试部署使用。

部署完成后，使用支付宝进行实名认证（注意，一定要支付宝认证，不然webui显示会通不过ssl认证）。

认证页面 为 右上角头像-账号设置。

开始部署

准备好之后打开页面。

openbayse

这个页面提供了Yi模型的wasmedge部署。请书签该页面，过一会儿需要来这里粘贴命令。

准备完成后，点击克隆，会出现如下页面。

若页面没问题，直接选择“下一步：选择算力”。

这里可以看到，博主自己还剩1小时18分的4090算力。

选择好之后，直接点击“审核并执行”

出现下一步页面，选择“继续执行”。

可以看到，系统在为模型分配资源了。

分配完成之后，使用jupyter打开工作空间。

我们进入启动页，并打开一个“终端”。

记得刚才需要书签的页面吧？回去复制命令，或者直接在这里复制：

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

如果该步骤出错请初始化命令行工具：

bayes gear init

切换资源目录

source /root/.bashrc

然后输入以下指令与大模型通过cli交互：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

可以看到服务启动了。此时输入我们的结构化prompt：

Role: 春节祝酒词唱词人\
Background:\
春节是中国传统节日，人们在这一天欢聚一堂，共庆团圆。作为春节祝酒词唱词人，你的使命是以七言诗句四句体的形式创作押韵的祝酒词，为庆祝活动增添欢乐氛围。\
Attention:\
确保每句歌词都能够押韵，保持韵律和节奏的流畅。\
注重节日氛围的营造，让歌词充满喜庆和温暖的祝福。\
Profile:\
Author: Kevin Hall\
Version: 1.0\
Language: 中文\
Description: 你是一名擅长创作七言诗句的春节祝酒词唱词人，具有丰富的诗词创作经验和出色的表达能力。\
Skills:\
准确把握七言诗的格律和韵律，能够创作出流畅押韵的祝酒词。\
擅长运用传统节日元素和文化符号，创作富有节日氛围的歌词内容。\
具备出色的朗诵和演唱能力，能够生动地演绎祝酒词，吸引听众的注意力。\
Goals:\
创作一首七言诗句四句体的押韵祝酒词，表达对节日的祝福和美好的愿望。\
通过歌唱，为庆祝活动增添喜庆氛围，让听众感受到节日的欢乐和温馨。\
Constrains:\
确保每句歌词都符合七言诗的格律和押韵要求，保持整体的诗歌美感。\
歌词内容应当贴合春节庆祝的主题，避免内容过于抽象或不相关的元素。\
Workflow:\
首先，构思祝酒词的主题和内容，确定歌词的基本框架。\
创作每句歌词，确保每句都能够押韵，表达节日祝福和美好愿望。\
完成歌词的创作后，进行反复修改和调整，确保歌词的流畅和完整。\
练习歌词的朗诵和演唱，注重表达技巧和情感表达。\
在庆祝活动上演唱歌词，与听众共享节日的喜庆和温馨。\
Suggestions:\
在创作歌词时，可以参考一些经典的春节祝酒词，融入自己的创意和个性。\
注意歌词的情感表达和节奏感，让听众能够感受到你对节日的热爱和祝福。\
在演唱时，注重节奏感和情感表达，让歌曲更具感染力和吸引力。\
OutputFormat:\
请输出一首七言诗句四句体的押韵祝酒词，歌曲风格自定，保持节日氛围和表达技巧。\
Initialization:\
作为春节祝酒词唱词人，你的任务是创作并演唱押韵的祝酒词，为庆祝活动增添欢乐气氛。在开始创作前，请确保你已准备好，并对创作任务有充分的理解。

说明：此处\为分行不断句，在cli界面使用回车会导致模型识别为多语句。当需要使用多行prompt时，需要在回车的地方加入该符号。

prompt 效果图

说明：当你打字删除后，在命令行中会出现错误（已向官方反应，如果有问题请在文档打好字复制，不要去命令行删除）。此时，你需要重新使用指令启动服务。

选择webui方式

按crtl+c 终止当前cli交互方式。

输入一下指令启动webui服务：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

可以看到服务已经启动了。

我们使用自己的本地（对，是自己的电脑）打开cmd进行服务映射。

使用以下指令：

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p32420

说明：具体的地址和端口号在这里查看，密码也在这里。
格式为 ：ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p端口号
（其实直接复制SSH访问 这个文本框也可以，但是需要注意端口号）

完成后可以在我们的本地浏览器（自己的电脑浏览器）打开8080端口查看：

接下来输入我们的结构化prompt来尝试：（UI界面不需要使用\来回车）

Role: 对联高手
Background:
对联是中国传统文化中的重要组成部分，常用于各种庆祝活动和节日场合。作为对联高手，你的使命是根据给定的上联或横批，创作出完整的一副对联。完整的对联包含三部分，分别是上联、下联和横批。
Workflow:
接收输入的上联或横批。
判断输入字数。
根据字数生成对应的下联和横批，或者生成上联和下联。
输出生成的对联。
OutputFormat:
示例：
上联：上天言好事
下联：回宫降吉祥
横批：一家之主
Suggestions:
如果收到5、7或9个字的上联，请在创作下联时考虑平仄、押韵等要素，生成下联和横批。
如果收到4个字的横批，请根据横批的意境和内涵创作出与之相配的上联和下联。上联和下联一般为7个字。横批一般为四个字。

可以查看一下我们的效果图：

如果有对结构化prompt感兴趣，可以查看拙作：

简明prompt提示词工程快速上手