- 博客(6)
- 收藏
- 关注
RSS订阅原创 flash-attn windows环境安装踩坑日记
因为官方发布的wheel是linux版的，所以在windows环境下安装时需要编译源码。具体选择哪个下载，需要先运行pip debug --verbose，根据输出里面的Compatible tags来选择兼容的wheel文件。下载相应的wheel文件并安装：pip install "flash_attn-2.4.1+cu121torch2.1cxx11abiFALSE-cp39-cp39-win_amd64.whl"flash-attn python包是对Flash attention的开源实现。
2024-01-17 10:23:20
4668
2
原创 前缀微调（Prefix tuning）
例如，如果希望LM生成一个词（例如，群众），可以在上下文中添加其常见的搭配（例如，人民），语言模型将对所需的词分配更高的概率。通过对比实验发现，前缀微调在使用更少的参数的情况下（0.1%的参数），得到了与全量微调和适配器微调（3%的参数）相当的效果；下面是一个代码示例。如果flat为False进行训练，在保存模型时需要调用eject_prefix_tuning方法，传入之前训练用的名称，这样会把训练时用的多层感知网络删除，从而节省存储空间，之后推理时也能使用更少的参数，更快推理。
2024-01-03 10:16:10
1923
1
原创 适配器微调（Adapter tuning）
如图 2所示， (Neil Houlsby, 2019)给出了Adaptor tuning与传统迁移学习（调整靠近输出的几层）在调整同等数量的参数的情况下，模型性能的差别。在训练过程中，一般只调整图 4中绿色的部分，包括适配器的下投影前馈层、上投影前馈层、非线性层以及Transformer模块中的两个归一层的参数。最后，设置好训练参数，即可通过adapters包的AdapterTrainer类进行训练了，再调用trainer的save_model方法即可把训练好的适配器（不包括基础模型）保存在本地。
2024-01-03 09:57:26
2391
1
原创 参数高效微调方法（Parameter-Efficient Fine-Tuning，PEFT）概述
它也算是一种迁移学习的方法，但是与传统的迁移学习方法不同的是，它是专门针对大模型设计的，通常会保持原有模型的参数不变，以某种方式添加少量新的参数，通过调整这些新的参数使模型适应特定任务，同时保留底层通用的语义表示。而传统的迁移学习方法一般要达到比较好的效果，都不得不调整一部分原有模型的参数。目前，参数高效微调因其调整的参数占比很小（小于10%甚至0.1%），所需运算资源少，在同时需要出来很多下游任务时，节省大量存储空间，在目的单一的较小的样本集里（小于预训练语料的10%），已逐渐成为主流的微调方法。
2024-01-03 09:29:27
1187
原创 chatGLM2 p-tuning踩坑全纪录
ChatGLM2-6B项目代码的ptuning子目录下有所有p-tuning代码。在site-packages中找到torchrun-script.py，删除首行内容#!需要升级attrs到22.2.0以上，conda只支持到22.1.0，需要使用pip install --upgrade attrs来升级。运行命令安装cchardet：conda install cchardet。
2023-08-23 11:33:43
596
2
原创 Windows部署chatGLM2-6B踩坑全记录
尝试重装transformers模块无果，后来发现是模型的路径不能用带“.”的相对路径，后改用绝对路径解决了这个问题。为了部署方便采用anaconda，全程使用conda install代替pip install，因为它不仅可以安装依赖的python包，还能同时安装依赖的动态链接文件。1. 执行 python web_demo.py，发现没有GCC命令，需要安装gcc和openmp，正好TDM-GCC可以顺带安装openmp，于是下载了TDM-GCC，安装过程中需要勾选安装openmp。
2023-08-23 11:19:00
412
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人