RWKV系列2-RWKV-LM

训练数据集

https://data.deepai.org/enwik8.zip

使用分类参考

https://zhuanlan.zhihu.com/p/639629050

模型分类和使用任务

解码参数，推荐值：

小说和对话：temp 1.2 topp 0.5 或 temp 1.4 topp 0.4 或 temp 1.7 topp 0.3 或 temp 2 topp 0.2。希望模型发散思维就用 topp 高，希望模型逻辑严密就用 topp 低。

完成机械任务，例如材料问答、摘要等等：temp 1 topp 0.2 或 temp 1 topp 0.1 或 temp 1 topp 0。

Prompt写法

这里是兼容所有未来新World模型的用法。

单轮问答：

Question: xxx

Answer:
请严格遵循上述格式：

半角冒号。在【Question:】后面是半角空格，然后是问题。
在问题后面有个纯空行。
在【Answer:】后面不能有空格，必须由模型生成后面的空格。
对于特别长的多段落的问题，问题内部可以有换行，但是不能出现 \n\n。
换行必须用 \n，不能用 \r\n。
应该用：

xxx = re.sub(r’\n{2,}‘, ‘\n’, xxx).strip().replace(’\r\n’,‘\n’)
去处理 xxx，保证 xxx 里面没有 \n\n，也没有 \r\n。

材料问答：

Instruction: xxx

Input: xxx

Response:
其中 Instruction 是问题或指令，Input 是材料。

多轮对话（未来新模型统一用 User / Assistant）：

User: xxx

Assistant: xxx

User: xxx

Assistant: xxx
再重复一遍，如前所述，应该用 xxx = re.sub(r’\n{2,}‘, ‘\n’, xxx).strip().replace(’\r\n’,‘\n’) 去处理 xxx，保证 xxx 里面没有 \n\n，也没有 \r\n。

训练微调参考

RWKV语言模型从入门到放弃，保姆级Training、Fine-tuning、Lora入坑教程：https://zhuanlan.zhihu.com/p/629809101

官方微调教学：https://zhuanlan.zhihu.com/p/638326262

官方补充

ChatRWKV v2 用法：