文章末尾,添加公众号,都是志同道合的小伙伴哦!
Mamba简介
Mamba模型由Albert Gu和Tri Dao等人开发,其核心在于通过输入依赖的方式调整SSM参数,允许模型根据当前的数据选择性地传递或遗忘信息,从而解决了以前模型在处理离散和信息密集型数据(如文本)时的不足。这种改进使得Mamba在处理长序列时展现出更高的效率和性能。
Mamba GitHub 链接:https://github.com/state-spaces/mamba.git
安装依赖详细教程
(^_−)☆
首先检测你使用的环境,包括cuda\pytorch等,我的环境如下所示,
(这里很重要,版本一定要相匹配):
Ubuntu 20.04
CUDA 11.7
Python 3.9
PyTorch 2.0.1 + cu117
想要使用mamba,就必须安装两个很重要的相关依赖如下所示,才能正常使用mamba。
第一个:causal_conv1d
第二个:mamba_ssm
目前一般能搜到的教程都是让你直接去采用以下两个方法进行安装:
第一种:
pip install causal_conv1d==1.0.0
pip install mamba_ssm==1.0.1
或者
第二种:
conda pip install causal_conv1d==1.0.0
conda pip install mamba_ssm==1.0.1
但是到这里,听话的你大概率就会遇到如下的问题:
出现以上的原因就是由于网络等其他情况不能直接进行pip操作。以下 是正确的办法,按照步骤应该不会出错了。
conda install packaging#必须啊要安装的依赖,用来支持下面的内容
git clone https://github.com/Dao-AILab/causal-conv1d.git
cd causal-conv1d #离线安装causal-conv1d
git checkout v1.2.0 # current latest version tag
CAUSAL_CONV1D_FORCE_BUILD=TRUE pip install .
cd ..
git clone https://github.com/state-spaces/mamba.git
cd ./mamba#离线安装mamba
git checkout v1.2.0 # current latest version tag
MAMBA_FORCE_BUILD=TRUE pip install .
或者直接在set.py里面进行设置,也是可以的,如下所示:
FORCE_BUILD = os.getenv("MAMBA_FORCE_BUILD", "FALSE") == "TRUE"
SKIP_CUDA_BUILD = os.getenv("MAMBA_SKIP_CUDA_BUILD", "FALSE") == "TRUE"
成功安装mamba之后,就会出现如下显示:
最后,mamba固然很火,但是请合理运用
做科研也好,做技术也好,
合适的才是对的,
你说呢?!