RWKV 参加奇绩创坛 2024 年春季创业营路演

2024年 6 月 6 日，RWKV 受邀参加奇绩创坛在北京中关村举办的 2024 年春季创业营路演。

RWKV 元始智能 COO 罗璇在会议上分享了 RWKV 的创新模型架构、最新进展及当前的研究方向。

目前， RWKV 架构的最新稳定版本是 RWKV-6 ，RWKV-6 14B 模型即将完成训练。与此同时，RWKV-7 全新架构已经开始小规模测试。

RWKV-7 架构将进一步推动 RWKV 模型通往 AGI 之路，敬请期待！

在本次路演上，RWKV 元始智能展示了移动端 AI 音乐创作应用：RWKV 作曲家。

RWKV 作曲家内置了 RWKV 音乐模型，可在端侧本地轻松部署，用户可以在没有网络连接的情况下，在本地完成所有创作任务，确保了创作过程的私密性和高效性。

除了展示 RWKV作曲家，RWKV 元始智能还在奇绩路演的展台上演示了可以在 3000 元左右的笔记本电脑上流畅运行的 RWKV-6 7B 大语言模型。

本次演示的 RWKV-6 7B 模型，搭载了 RWKV 模型的独特 state 文件，可以以文言文格式回答用户的提问。

现场观众表示 RWKV state tuning bot 很风趣，不会很机械化，更贴近人类表达，能理解人类表达的潜在含义。文言文 state 唤起了观众对于古汉语文学的喜爱和探索，还能帮助学子理解和分析文言文句式，深受好评。

关于 RWKV 的 state

state 是 RWKV 这类模型特有的状态。微调 RWKV 的初始 state，就相当于最彻底的 prompt tuning 。 通过挂载不同的 state 文件，又可以使 RWKV 模型遵循特定的风格进行回答。

下面是搭载了文言文 state 的 RWKV 模型效果：

如果你想深入了解并体验 RWKV 模型的 state ，可以参考下面这篇文章：

• 彭博：State-tuning：RWKV的独特alignment方法
• RWKV state：享傻瓜式文学大师人生

RWKV 模型介绍

RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于 Transformer 的性能潜力。 作为非 Transformer 的创新型大模型架构RWKV 全球领先且完全自主，是迄今为止计算效率最高、能耗最低的大模型架构。

RWKV 模型架构论文：

• RWKV 4：https://arxiv.org/abs/2305.13048
• RWKV-5/6（Eagle & Finch）：https://arxiv.org/abs/2404.05892

RWKV 模型的最新版本是 RWKV-6 ，架构图如下：

相对 Transformer 架构，RWKV 架构的推理成本降低2~10倍，训练成本降低2 ~ 3倍。

加入 RWKV 社区

RWKV 中文文档：https://www.rwkv.cn
QQ 频道：https://pd.qq.com/s/9n21eravc