- 博客(4)
- 收藏
- 关注
RSS订阅原创 【预训练语言模型中的一些位置编码】
定义Ww1...wN表示一个长度为N的文本，wi表示文本中第i个token；X表示w对应的embedding，Xx1...xNxi表示文本中第i个token对应的embedding，特征维度为d。利用词嵌入和位置信息计算自注意力中的qkvqmfqxmm1knfkxnn2vnfvxnn3公式(1)中的qm表示第m个token对应的词向量x。
2023-11-02 11:45:16
143
1
原创 【LLM高效参数微调】
苏剑林. (Apr. 03, 2021). 《P-tuning：自动构建模版，释放语言模型潜能 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/8295。LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-TuningV1/V2到LoRA、QLoRA(含对模型量化的解释)本文只是记录了自己的一些理解。
2023-10-30 16:48:46
73
1
原创 Chatglm-130b本地部署教程
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
2023-09-19 17:22:27
2768
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人