- 博客(8)
- 收藏
- 关注
原创 RAGAS
(对生成的答案有害性和正确性进行评估)其目的是根据预定义的方面(例如和)评估提交。此外,用户可以灵活地定义自己的方面,以便根据自己的具体标准评估提交内容。方面批评的输出是二进制的,指示提交是否与定义的方面一致。该评估是使用“答案”作为输入来执行的。LLM 评估员内部的批评根据所提供的方面评估提交的内容。Ragas Critiques 提供了一系列预定义的方面,例如正确性、有害性等(请参阅以获取完整列表)。如果您愿意,您还可以创建自定义方面来根据您的独特要求评估提交内容。strictness。
2024-01-12 10:12:29
684
1
原创 交叉熵损失
loss = F.cross_entropy(logits, targets) 中首先将logits经过softmax转化为词表中对应词的预测概率probs,将targets展平之后化为one-hot向量与生成的概率求-sum(targets* log(probs)),其等价于直接对logits取log_softmax,然后取其中label作为index的值在log_softmax中取值,最后将这些取值求和取平均得到最后的loss值。
2024-01-12 10:10:57
323
2
原创 LongNet: Scaling Transformers to 1,000,000,000 Tokens
通过修改attention机制拓展token长度
2023-07-12 16:50:40
361
1
原创 LoRA: Low-Rank Adaptation of Large Language Models低秩自适应
通过矩阵分解降低LLM中的模型参数
2023-02-23 16:45:42
4662
原创 AttributeError: ‘Transformer‘ object has no attribute ‘embedding‘
'xxxx' object has no attribute 'xxxx' 错误
2023-02-06 20:56:29
752
空空如也
关于卷积核数值的问题,如何解决?
2022-09-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人