- 博客(5)
- 收藏
- 关注
RSS订阅原创 记录torchtext，pytorch正确安装姿势
我安装的是torch==2.2.2，上述方式安装的torchtext会更新环境内的torch，让其变成cpu版本。我这里是12.0的版本，因此可以安装cuda 11.8 版本的pytorch。这是我目前成功安装torchtext和torch的版本记录。查询自己服务器的cuda版本。
2024-10-09 15:59:34
1529
4
原创 【预训练语言模型中的一些位置编码】
定义Ww1...wN表示一个长度为N的文本，wi表示文本中第i个token；X表示w对应的embedding，Xx1...xNxi表示文本中第i个token对应的embedding，特征维度为d。利用词嵌入和位置信息计算自注意力中的qkvqmfqxmm1knfkxnn2vnfvxnn3公式(1)中的qm表示第m个token对应的词向量x。
2023-11-02 11:45:16
1073
1
原创 【LLM高效参数微调】
苏剑林. (Apr. 03, 2021). 《P-tuning：自动构建模版，释放语言模型潜能 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/8295。LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-TuningV1/V2到LoRA、QLoRA(含对模型量化的解释)本文只是记录了自己的一些理解。
2023-10-30 16:48:46
175
1
原创 Chatglm-130b本地部署教程
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
2023-09-19 17:22:27
3507
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人