深度学习
槑槑紫
一枚算法工程师
热爱算法
想要用算法改变世界
展开
-
深度学习算法bert
现在来了一个新任务,并有一个新模型,我们使用已经训练过的模型(预训练的模型) m 的参数来初始化新的模型,而不是使用随机参数来初始化新模型。判断是否下一句(预测CLS)),但接下来可以做其他任务,又叫微调(,不同的bert在encoder层数、注意力头数、隐藏单元数不同。bert 属于自监督学习的一种(输入x的部分作为label)2. 假设我们有一个模型 m ,首先我们为某种任务使用。3. bert(预训练做两个任务,一是。4. 输入到bert模型之前需要。(预测被屏蔽掉的词)二是。原创 2024-07-05 11:07:01 · 214 阅读 · 0 评论 -
深度学习算法informer(时序预测)(八)(超参定义)
【代码】深度学习算法informer(时序预测)(八)(超参定义)原创 2024-06-21 15:28:16 · 158 阅读 · 0 评论 -
深度学习算法informer(时序预测)(七)(模型训练、验证、测试)
模型训练、验证、测试。原创 2024-06-21 15:12:21 · 215 阅读 · 0 评论 -
深度学习算法informer(时序预测)(六)(数据处理、自注意力、自适应调节学习率、早停法)
在每个epoch结束时,根据当前的epoch和设定的调整策略,更新优化器的学习率。目的是在验证损失不再显著改善时提前停止训练,从而防止过拟合。它会在每个epoch结束后调用,检查当前的验证损失是否改善。,特征值只有温度,解码器的输入与编码器的输入不同,将。编码器的输入倒数12个时间点。编码器最后12个时间点。原创 2024-06-21 15:01:16 · 317 阅读 · 0 评论 -
深度学习算法informer(时序预测)(五)(informer整体模型)
informer整体架构原创 2024-06-20 16:14:10 · 194 阅读 · 0 评论 -
深度学习算法informer(时序预测)(四)(Decoder)
【代码】深度学习算法informer(时序预测)(四)(Decoder)原创 2024-06-20 16:08:14 · 194 阅读 · 0 评论 -
深度学习算法informer(时序预测)(三)(Encoder)
informer的encoder原创 2024-06-20 14:53:11 · 479 阅读 · 0 评论 -
深度学习算法informer(时序预测)(二)(ProbSparse讲解)
informer概率注意力机制原创 2024-06-20 13:28:39 · 834 阅读 · 0 评论 -
深度学习算法informer(时序预测)(一)(数据编码讲解)
informer时序数据编码原创 2024-06-18 11:33:05 · 1970 阅读 · 0 评论 -
深度学习算法transformer(开源哈佛代码注释版)
transformer哈佛代码解析原创 2024-06-13 14:52:04 · 480 阅读 · 0 评论 -
深度学习算法transformer中的核心multihead_attention代码
【代码】深度学习算法transformer中的核心multihead_attention代码。原创 2024-06-12 09:37:57 · 222 阅读 · 0 评论 -
深度学习算法transformer(时序预测)模型优化(二)
【代码】深度学习算法transformer(时序预测)模型优化(二)原创 2024-05-13 11:12:23 · 680 阅读 · 0 评论 -
深度学习算法transformer(时序预测)
【代码】深度学习算法transformer(时序预测)原创 2024-05-08 10:46:33 · 1510 阅读 · 0 评论 -
深度学习算法LSTM
【代码】深度学习算法LSTM。原创 2024-04-03 10:42:34 · 305 阅读 · 0 评论 -
深度学习算法CNN
nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),return x# 可以加入其他变换])# 验证集和测试集不需要数据增强])= 'test'))opt.step()preds = []原创 2023-10-07 15:58:04 · 74 阅读 · 1 评论 -
深度学习算法多分类
多分类3. 定义有关Dataset, DataLoader的数据整理4. 定义config5. 定义训练6. 定义测试7. main函数以及运行结果原创 2023-09-26 16:08:08 · 127 阅读 · 1 评论 -
深度学习算法DNN
2. 定义DNN网络3. 定义有关Dataset, DataLoader的数据整理4. 定义config5. 定义训练6. 定义测试7. 定义画图8. main函数以及运行结果原创 2023-08-29 11:20:59 · 171 阅读 · 0 评论