- 博客(3)
- 收藏
- 关注
RSS订阅原创 NLP学习总结｜QLoRA 基础：浮点数表示
尽管单精度浮点数的尾数部分精度有限，但是指数部分的存在使得浮点数能够表示广泛的数值范围，而不仅仅局限于尾数部分的精度。在浮点数表示中，偏移量（Bias）是用于表示指数部分的一个值，使得指数可以表示正数和负数。假设我们有一个单精度浮点数，它的二进制表示为1.57 * 2^1，那么此时指数部分实际上存储的数字为1 + 127 = 128，转换为二进制为 10000000。不过，并不是所有的指数值范围都用于表示实际的指数。有效位数的估算通常是基于尾数位的精度，尾数位是浮点数中用来表示小数部分的部分。
2024-07-07 13:33:04
744
原创 NLP学习总结｜ChatGLM模型架构
TODO: 我目前还没有弄清楚的一点是为什么Part A需要注意力分数，如果我们训练目标是通过生成对mask位置的词的预测，难道不是只需要生成部分有注意力分数就行了吗？对于部分 B 中的标记，它们的范围从 1 到跨度的长度。从一个均值为3的泊松分布中采样片段的长度，直到原始文本中15%的字符被掩盖，然后在文本中随机排布填空片段的位置。长度从原始文本长度的50%到100%的均匀分布中采样的片段。这预训练目标针对的是无条件的。Part A就可以看作是cloze的问题描述，masked掉的是需要回答的问题。
2024-05-14 09:10:05
767
1
原创 NLP学习总结｜SFT微调方法之一：LoRA微调
矩阵的秩（rank）分为行秩和列秩，行秩指的是矩阵的线性无关的行的个数，列秩同理。因为一个矩阵的行秩和列秩总是相等的，因此它们统一被叫做矩阵的秩。
2024-04-23 07:24:28
1814
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人