- 博客(4)
- 收藏
- 关注
RSS订阅原创 自然语言处理与bert
1、Self-attention， 每一个字加上位置的embedding， 相加为token。之后， 通过Q,K,V来 交互， Q是query，K是key， V是value。Q和K算出注意力，V按照注意力相加为输出。2、 bert， 是一个编码器， 目的是把一句话编码为特征。它采用自监督预训练获得特征 提取能力。之后在下游任务可以提取特征后， 让特征去做分类任务。3、bert的结构， 三部分。一， embedding层。二， Self-attention层让特征交互。三，pooler输出。
2026-01-29 22:15:22
1325
原创 深度学习图片分类任务（上）
Vgg网络在AlexNet的基础上运用了更小的卷积核，并且更加深了网络，达到了更好的效果创新：更深、更大 用小卷积核代替大的卷积核使用更少的参数量进行卷积下图特征图维度变化：3.ResNet创新：1*1卷积和残差连接可以解决梯度消失和梯度爆炸的we3.ResNet。
2026-01-25 11:19:39
646
原创 深度学习——回归实战
init决定模型的样子，搭建模型的框架，forward决定数据如何通过模型。上述模型的维度变化情况：batchsize=16 inDim=93 输入x形状:(16，93)->(16,128)->(16,1)->16。模型部分重点关注数据维度的变化，假设a个数据输入，随后b个数据输出，维度变化从a到b。训练函数：功能：模型多轮训练、验证、损失记录、最优模型保存和损失曲线绘制。__init__()：初始化数据集[数据读取、数据集划分、特征标准化]相关系数：取相关系数大的数据列，舍弃关联性较小的列。
2026-01-24 15:01:46
413
原创 深度学习（一） 神经网络概述和python基础
激活函数：r1=sigmoid(b1+W11X1+W12X2) || r1=relu(b1+W11X1+W12X2)学习率n：偏导数是损失函数对每个参数的导数，可理解为每个参数对模型与真实值的偏差作出的贡献。缺点：当输入远离原点时，sigmoid函数趋近于0，会导致梯度消失，并且计算复杂。单纯的线性运算无论多少层，都可以化简为y=wx+b的简单形式，没有意义。模型结构对学习效果的影响：深浅，过拟合、外界预测能力。最简单的神经网络，没有激活函数，只能进行线性运算。三、有了激活函数后的神经网络。
2026-01-21 21:34:37
28
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人