![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
dl
文章平均质量分 81
回炉重造P
自己觉得摇滚那就是摇滚
展开
-
pytorch保存训练模型参数并实现继续训练
最近的想法是在推荐模型中考虑根据用户对推荐结果的后续选择,利用已训练的offline预训练模型参数来更新新的结果。简单记录一下中途保存参数和后续使用不同数据训练的方法。简单模型和训练数据先准备一个简单模型,简单两层linear出个分类结果。class MyModel(nn.Module): def __init__(self): super().__init__() self.linear = nn.Linear(64, 32) self.lin原创 2022-03-22 16:08:17 · 10434 阅读 · 0 评论 -
bert-as-service简单使用
BERT训练语料集合生成预训练词向量模型,能用在下游任务中。和Word2vec比,个人觉得它最大的好处在于词缺失的时候,能词条化和短词的词向量匹配,这样能避免丢掉太多语义,比如promax不存在,BERT就会返回pro###和###max,这样也能有效获取语义。BERT12层的transformer,自己训练一次开销巨大,为了快速使用BERT生成词向量而不去直接训练,利用bert-as-service封装库来实现预训练结果的读取。预训练结果BERT谷歌官方在github中给出了几个不同类型的已训练好的原创 2021-11-24 15:00:25 · 1618 阅读 · 8 评论 -
利用scheduler实现learning-rate学习率动态变化
记录一下schedule设置学习率变化过程的使用和方法优化器optimizerpytorch提供数种优化器的实现,优化器根据计算图的结构,进行梯度计算,根据loss信息实现自动的BP过程。常用的就是Adam,将网络参数传入,设置初始的learning-rate学习率即可:optimizer = torch.optim.Adam(model.parameters(), lr=args.learn_rate)在训练中:optimizer.zero_grad()loss.backward()opt原创 2021-11-23 17:31:10 · 2859 阅读 · 0 评论 -
torch.scatter与torch_scatter库使用整理
最近在做图结构相关的算法,scatter能把邻接矩阵里的信息修改,或者把邻居分组算个sum或者reduce,挺方便的,简单整理一下。torch.scatter 与 tensor._scatterPytorch自带的函数,用来将作为src的tensor根据index的描述填充到input中,形式如下:ouput = torch.scatter(input, dim, index, src)# 或者是input.scatter_(dim, index, src)两个方法的功能是相同的,而带下划线的原创 2021-11-23 13:57:37 · 6270 阅读 · 2 评论