![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
transformers
文章平均质量分 85
猫毛已经快要掉光的小猫
这个作者很懒,什么都没留下…
展开
-
【transformers】pytorch基础
除了数学运算,Pytorch 还提供了多种张量操作函数,如聚合 (aggregation)、拼接 (concatenation)、比较、随机采样、序列化等,详细使用方法可以参见 Pytorch 官方文档。对于数据的大概处理是:加载数据 ---->> shuffle —>> 分为一个个minibatch —>> 丢进模型训练。当在计算的过程之中,发现两个张量的形状问题导致无法计算的时候,torch会自动将张量进行广播完成计算。当然输出的最后的结果也会是最终进行广播的结果。张量:理解成高纬度的向量就完事。原创 2024-06-01 19:44:30 · 650 阅读 · 0 评论 -
【tansformers库】LLM基本过程 & 模型加载
参考doc: https://transformers.run/c2/2021-12-08-transformers-note-1/是个啥:封装一些NLP的东西,快速开箱即用,现在也多应用在大模型。整体过程:Transformers 库将目前的 NLP 任务归纳为几下几类:可以利用pipeline直接丢进去自然语言,然后直接能够获得结果。(正常在没有指定模型的情况下,应该是去huggingface上面下载模型缓存)pipeline 模型会自动完成以下三个步骤:e.g. 使用pipeline完成情感分析原创 2024-06-01 13:17:54 · 444 阅读 · 0 评论