LLM
关注
分享
扫一扫
meditator2
当成自己的笔记本，记录一些问题
展开
-
torch.device使用方法
代表将torch.Tensor分配到的设备的对象，有cpu和cuda两种，这里的cuda就是gpu，至于为什么不直接用gpu与cpu对应，是因为gpu的编程接口采用的是cuda。原创 2024-01-03 10:20:22 · 1081 阅读 · 0 评论 -
transformers.Tokenizer
基于subword的切分粒度是目前主流的token切分方式subword的基本切分原则是：高频词依旧切分成完整的整词低频词被切分成有意义的子词，例如 cats => [cat, ##s]基于subword的切分可以实现：词表规模适中，解码效率较高不存在UNK，信息不丢失能学习到词缀之间的关系。原创 2023-12-12 10:56:10 · 151 阅读 · 0 评论