- 博客(7)
- 收藏
- 关注
RSS订阅原创 BERT模型的一些笔记
虽然我是做Diffusion方向的，但是仍然是经常能够在论文中看到Bert的影子，虽然说大部分是随口一提，但是我还是十分好奇这个让finetune在NLP领域中出圈的方法。既然说Bert是finetune在NLP领域的出圈之战，那就一定要扯扯它这个模型是怎么进行finetune的，为什么能够finetune？
2025-10-16 16:54:47
725
原创 关于在经过softmax之后交叉熵的梯度形式
为类别数(0.....k-1)。需要声明的是，本文只是以多分类（单目标）问题来推导梯度形式。为了便于理解，我们推导过程仅仅对向量中的某个变量进行求导，其余变量的形式也是一样的。时值为0，这就是一个简单求导的问题。是one-hot或者是概率分布，所以。其中的加粗字体均为向量形式，，主要便于推导（少写点）。
2025-10-02 23:34:41
158
原创 关于vscode连接远程服务器进行debug的踩坑记录
如果你用vscode打开的就是/home/admin/motivation/example这个文件夹，那${workspaceFolder}表示的就是/home/admin/motivation/example，而我们要执行的文件gen_data.py就在/home/admin/motivation/example文件夹下，这样是没有问题的。在点击之后会让你选择port，这里选个服务器中空闲的端口就行。总之记得这两个目录要一致，是要debug的python文件的根目录。首先需要安装一个debug用的库。
2025-09-29 18:20:41
418
原创 关于膨胀卷积（空洞卷积）
空洞卷积（Dilated Convolution）也叫扩张卷积、膨胀卷积，目的只有一个，就是增加感受野。空洞卷积有个扩张率（dilation rate）的参数需要设置，其指定了卷积核相邻元素之间空多少格，比如一个3×3的卷积核，如果扩张率为2，即只要空一格就可以了。按图找规律我们可以很轻松的得到扩张侯卷积核的大小，即扩张率*（卷积核大小-1）+1，上述计算为2*(3-1)+1=5。在计算感受野大小时，需要考虑前面的层数多少，这里就不给出相关冗杂的公式了。
2025-01-05 01:20:48
654
原创 关于BN的计算问题
这里的eps使用了源代码中的默认值。要注意的是这里只是做了(batch_size,num_feature/channel,H,W)格式的输入的BN，倘若是(batch_size,num_feature)或是(batch_size,num_feature,sequence_length)，具体的代码又将不同，主要表现在对什么维度求均值。首先我们需要知道特征数和维度的基本概念，简单来说特征数就是样本的特征数量，我们常常使用一个特征向量来表示一个样本，向量中的每个元素表示的就是每个特征，特征用来描述样本。
2025-01-04 01:52:53
699
原创 HTTP Status 500 - No converter found for return value of type: class com.lin.bean.User
原因：在返回时消息转换器把Controller的返回值转换成json，但是pom.xml缺少了springmvc进行json转换需要的jar包。解决方式：加入相关依赖。
2024-12-29 12:01:20
340
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人