奇绩创坛 2024 年春季创业营路演

奇绩创坛在北京中关村举办的 2024 年春季创业营路演

RWKV 元始智能的COO罗璇在会议上详细分享了RWKV的创新模型架构、最新进展以及当前的研究方向。

目前，RWKV架构已经推出了最新的稳定版本——RWKV-6。而RWKV-6 14B模型也即将完成训练，与此同时，RWKV-7的全新架构也已经开始了小规模测试阶段。

RWKV-7架构的推出，将进一步推动RWKV模型在迈向通用人工智能（AGI）道路上的步伐，让我们共同期待它的卓越表现！

在本次路演活动中，RWKV 元始智能还展示了其移动端AI音乐创作应用——RWKV作曲家。这款应用内置了RWKV音乐模型，可以轻松在端侧本地部署，用户在没有网络连接的情况下也能在本地完成所有创作任务，从而确保了创作过程的私密性和高效性。

除了RWKV作曲家，RWKV 元始智能还在奇绩路演的展台上展示了可以在3000元左右的笔记本电脑上流畅运行的RWKV-6 7B大语言模型。这款模型搭载了RWKV模型的独特state文件，能够以文言文格式回答用户的提问，为观众带来了全新的体验。

RWKV state tuning bot非常有趣，它的回答不会显得机械化，反而更贴近人类的表达方式，能够深入理解人类语言的潜在含义。特别是文言文state，不仅唤起了观众对古汉语文学的热爱和探索欲望，还能帮助学子们更好地理解和分析文言文句式，深受大家的好评。

关于RWKV的state，它是RWKV这类模型特有的状态。通过微调RWKV的初始state，可以实现最彻底的prompt tuning。而挂载不同的state文件，则可以使RWKV模型按照特定的风格进行回答。

以下是搭载了文言文state的RWKV模型的实际效果展示：

RWKV是一种创新的深度学习网络架构，它结合了Transformer和RNN的优点，实现了高度并行化训练与高效推理。其时间复杂度为线性复杂度，因此在长序列推理场景下具有优于Transformer的性能潜力。作为非Transformer的创新型大模型架构，RWKV在全球处于领先地位且完全自主，是迄今为止计算效率最高、能耗最低的大模型架构。

RWKV模型架构的论文可以在相关学术网站上查阅，其中包括对RWKV 4和RWKV-5/6（Eagle & Finch）的详细介绍。这些论文为我们提供了更深入的了解RWKV模型架构的机会，也展示了RWKV在人工智能领域的卓越贡献和广阔前景。