RWKV: 与Transformer和Mamba掰掰手腕的小家碧玉

------>更多内容，请移步“鲁班秘笈”！！<------

开源项目RWKV是一个“具有 GPT 级别LLM性能的RNN，也可以像transformer并行训练。它主要是解决了Transformer的高成本。注意力机制是 Transformer 霸权背后的驱动力之一，它导致Transformers “遭受内存和计算复杂性的影响，复杂性与序列长度呈二次方比例缩放”，限制可扩展性。

另一方面，在前面讲述Mamba<链接回去温习下RNN的历史>的时候，读者应该已经知道原始的RNN在训练和并行化受到很大的约束。当然之后的很多改进，包括线性化都是为了解决这些问题。而RWKV最早2023年提出来的架构，RWKV5-6则在2024年4月份更新。其实它是可以和Transformer和Mamba掰掰手腕的，宛如小家碧玉，温文尔雅。