Deep Learning
文章平均质量分 84
XSomebody
这个作者很懒,什么都没留下…
展开
-
Transformers库与LLM推理
Transformers库是一个用于自然语言处理的开源Python库,它提供了预训练的Transformer模型和简化的API,使得NLP任务如文本生成和分类更加容易。本文简要介绍了在进行LLM推理时一些常见的Transformers的API用法。原创 2024-06-13 17:03:51 · 697 阅读 · 0 评论 -
Cross-Entropy(交叉熵)
参考视频:https://www.youtube.com/watch?v=ErfnhcEV1O8信息论Entropy对于一个事件,每传输 1bit 可将不确定度降低一半对于一个概率为p的事件,需要传递 xbit(编码长度) 的数据,有 p=12xp=\frac{1}{2^{x}}p=2x1故Entropy定义为:H(p)=−Σipilog2(pi)H(p)=-\Sigma_{i} p_{i} \log _{2}\left(p_{i}\right)H(p)=−Σipilog2(pi.原创 2022-03-05 12:35:44 · 694 阅读 · 0 评论