RWKV：在Transformer时代重振RNN

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Transformer】交流群

梦晨 衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

ChatGPT爆火以来，大语言模型和Transformer几乎成了同义词，然而真的如此吗？

刚刚，一个由国人主导，总共27所大学、研究机构和公司组成的开源研究团队，联名发表重磅论文《RWKV：在Transformer的时代重新发明RNN》，受到学术界大量关注。

RWKV就是论文中提出的新深度学习模型架构，以循环神经网络RNN为基础魔改而来。

实际上RWKV模型的开源发布比论文要早不少，并且已经在开源社区和行业内产生不小影响力。

其创始人彭博在知乎等平台也非常活跃。

在人类玩家打分的大模型匿名竞技场Chatbot Arena最新一期榜单中，RWKV在一众Transformer中排名第6，并且与7-11名相比拉开一个分数段。

并且RWKV也有在线Demo可玩。（地址在文末）

有意思的是，参与论文的EleutherAI实验室表示，论文还不是完全版本，由于不便公布的截止日期而被迫提前发布，以后还会继续完善。

那么就先来看一下，到目前为止RWKV团队都做出了哪些成果。

时间复杂度比GPT低‍‍

RWKV设计灵感来自苹果21年的研究《An Attention Free Transform》，团队意识到如果在公式中使用循环矩阵（circular matrices）就可以将网络结构写成RNN。

与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。

这意味着生成内容的速度不会随长度而夸张增涨，显存占用也是恒定的。

一作彭博在接受36kr采访时曾这样形容：

GPT每写一个字就要重新看一遍前面所有文字，效率很低。而RWKV就相当于人类读了一遍资料后，在不再看资料的情况下直接回答。

传统RNN由于并行化的方式难以扩大规模，RWKV通过使每个通道的时间衰减与数据无关，可以在训练期间像Transformer一样做并行化。

训练好的140亿参数RWKV在多个数据集上的表现与开源Transformer大模型相当。

另外团队指出RWKV并非没有缺陷，虽然大致与Transformer的性能匹配，但对提示更敏感，并难以整合非常长的信息。

物理出身现在卖灯的论文一作

RWKV背后是一支不小的论文团队，总共27家大学、研究机构和公司组成，作者达30人。

论文一作Peng Bo，毕业于香港大学物理系，编程经验20+年，曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。

还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。

他的主要关注和兴趣方向在软硬件开发方面，在此前的公开访谈中，他曾明确表示AIGC是自己的兴趣所在，尤其是小说生成。

目前，Peng Bo在Github有1.3k的followers，知乎粉丝已经超过了11万人，随着RWKV论文的发布，这个数字还在增加。

除了关注RWKV模型、论文发布和最新进展，吃瓜网友们最讶异的还是Peng Bo的身份之多样：

不仅仅是RWKV模型一作、元智能OS创始人，他的最主要公开身份是一家灯具公司禀临科技的联合创始人，主要是做阳光灯、吸顶灯、便携台灯什么的。

乍一看这个跨行有点猛，物理出生，搞过量化金融，写了20年程序，然后主业卖灯，根据爱好搞了个大模型，走的还不是主流transformer路线……

并且Peng Bo本人应该是一个喵星人资深爱好者，Github、知乎、微信头像，以及灯具公司的官网首页、微博上，都有一只黄色橘猫的身影。

ps. 如果你也好奇RWKV这个词该怎么读，根据元智能OS团队在播客《三五环》的读法，应该是“Rua库”

论文地址：
https://arxiv.org/abs/2305.13048
RWKV模型下载：
https://huggingface.co/BlinkDL/rwkv-4-raven
在线试玩：
https://www.codewithgpu.com/i/app/BlinkDL/ChatRWKV/RWKV-4-Raven-7B

参考链接：
[1]https://twitter.com/AiEleuther/status/1660811180901019648
[2]https://zhuanlan.zhihu.com/p/618011122
[3]https://36kr.com/p/2257744759205508
[4]https://www.xiaoyuzhoufm.com/episode/645b68e0306513184c97034b

点击进入—>【Transformer】交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-扩散模型或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！

▲扫码进星球
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看