- 博客(13)
- 收藏
- 关注
RSS订阅原创 Attention-mask 在transformer模型框架中的作用
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
2023-11-19 13:18:54
1303
原创 Git与GitHub初级使用宝典
选择要存放仓库的本地文件夹，在文件夹中打开git bash后，输入命令git clone [email protected]:yan-hero/git_demo.git,该文件夹下创建与仓库同名文件夹。//例如： git remote add origin [email protected]:yan-hero/git_demo.git。（1）在git bash中输入ssh-keygen -t rsa -C "你的邮箱"，连续回车创建新的keys。进入git_demo文件夹，将要上传的项目代码拷贝进文件夹。
2023-08-22 21:43:28
188
1
原创 EndNote快速上手教程
其次，在新库里加载参考文献，文献加载操作按照 File ->Import->file,打开加载界面，choose选择从网站导出的enw文件，Import Optioin选择 EndNote Import（注：如果是PDF，则选择PDF导入）。方法一：首先在EndNote软件中选中该文献，在word中，鼠标点击插入位置后，按照下图指示箭头操作就可以加载参考文献了。Citations指的是在正文中出现参考文献引用时的格式，Bibliography指的是位于文章最后面的参考文献列表的格式。
2023-08-21 17:38:23
1970
1
原创 HuggingFace的Transformers库Tokenizer和Model使用技巧
Bert模型作为一个强大的双向Transformer模型，已经在NLP领域广泛使用并作为word embeddding 预训练模型深受青睐。Hugging Face的transformers框架包含BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2两个框架，本博客主要介绍如何从Hugging Face加载预训练模型及高效使用。
2023-08-09 14:31:40
6783
1
原创 预训练模型微调（Fine-tuning pre_trained model）
在设计新模型的时候，尤其是CV领域设计语义分割、目标检测模型通常将已有的图像分类模型作为backbone，可以对原始模型结构实施增删改模块操作。由于目标任务的数据规模有限，为防止出现模型训练过拟合现象的发生，对于backbone部分权重参数采用在大规模数据集ImageNet上预训练好的模型权重参数。模型参数加载后冻结部分网络层开展finetune操作。本博文主要讲述常用的模型设计和加载预训练模型权重参数的方法及如何冻结部分权重参数对新模型进行微调操作。
2023-06-06 01:30:08
1406
1
原创 model.train()、model.eval()和torch.no_grad()以及detach()区别
一、model.train()、model.eval()区别model.train()和model.eval()函数主要用于将模型中的training属性设置为True或False两种状态，training属性会直接影响BatchNorm层）和Dropout层的运行机理。
2023-06-05 23:35:32
485
1
原创 nn.Sequential、nn.ModuleList、nn.ModuleDict区别及使用技巧
nn.ModuleList里面储存了不同 module，并自动将每个 module 的 parameters 添加到网络容器内容(注册)，里面的module是按照List的形式顺序存储的，但是在forward中调用的时候可以随意组合。可以任意将 nn.Module 的子类 (比如 nn.Conv2d, nn.Linear 之类的) 加到这个 list 里面，方法和 Python 自带的 list 一样，也就是说它可以使用 extend，append 等操作。
2023-06-02 01:08:21
760
原创 read()、readlines()、readline()区分
在python读取文件的时候，经常使用read函数读取文件内容。read()、readlines()函数使用起来看起来相似，但是还有很多细微差别。结合阅读代码时候的一些经验总结，对以上函数的不同进行总结。
2023-05-28 22:54:59
294
原创 conda和pip 安装python依赖包区别和使用技巧
引言Conda 作为一种跨平台的包和虚拟环境管理器，使用的时候功能与pip类似。安装python依赖包的时候经常将两种方法混合使用，但一直没有进行具体区分其差别。重新安装python依赖包的时候出现各种不兼容的bug。经历一天烦躁的安装、卸载和查阅资料的痛苦过程，将自己的学习收获梳理一下，以便自己未来回顾查看，同时公开分享帮助遇到同样难题的朋友们。Anaconda下载链接：Anaconda可以通过官网下载，但是速度较慢。大家一般是从国内镜像网站进行下载安装。下载。
2023-05-17 12:11:51
3095
1
原创 zip()函数使用技巧
Zip()函数既可以压缩序列（列表、元组、字典、集合、range（））到一个zip文件，也可以用于拆分序列。具体使用案例会结合部分代码进行描述。两个序列长度不同时，zip函数会按照最短序列长度截取对齐。新生成的元素构成元组对。二、zip()函数用于提取两个序列的数据。一、zip()函数将两个序列压缩。
2023-05-14 15:08:11
777
原创 Python列表的append()、extend()和insert()的区别
Python中的列表添加元素操作经常出现在代码中，添加元素的常用方法有三种：append、extend和'+='操作。本博文主要梳理三种方法如何使用。查阅网络一些资料，现将自己的理解梳理一下，仅供参考，如果有描述不清晰或错误之处，请批评指正。
2023-05-14 00:49:27
2304
2
原创 torch.matmul()、torch.mul()等函数使用法则
torch.matmul()函数可以用于1维向量×1维向量，1维向量×2维矩阵，2维矩阵×1维向量，矩阵相乘等不同情况。现将相关案例进行介绍方便日后回顾。
2023-03-24 20:02:39
1434
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人