- 博客(22)
- 收藏
- 关注
RSS订阅原创 用BERT实现中文语句分类
BERT以Transformer的Encoder为架构，已MLM为模型，在很多领域取得历史性的的突破。这里以Transformers上基于中文语料库上训练的预训练模型bert-base-chinese为模型，以BertForSequenceClassification为下游任务模型，在一个中文数据集上进行语句分类。具体包括如下内容： 使用BERT的分词库Tokenizer 可视化BERT注意力权重 用BERT预训练模型微调下游任务 训练模型。
2022-09-30 09:41:42
3332
原创 使用transformer实现图像分类
使用Transformer来提升模型的性能最近几年，Transformer体系结构已成为自然语言处理任务的实际标准，但其在计算机视觉中的应用还受到限制。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时将其整体结构保持在适当的位置。2020年10月22日，谷歌人工智能研究院发表一篇题为“An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”的文章。文章将图像切割成一个个图像块
2022-09-30 09:21:17
1762
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人