机器学习
LTuantuan
这个作者很懒,什么都没留下…
展开
-
Pytorch中lr_scheduler.ReduceLROnPlateau调整学习率
Pytorch中torch.optim.lr/_scheduler有很多可用于调整学习率的类笔者最近接触到ReduceLROnPlateau这个类,在此记录下该类的使用方法及作用,作为学习笔记。该类的源码如下:class ReduceLROnPlateau(object): """Reduce learning rate when a metric has stopped improving. Models often benefit from reducing the le.原创 2022-03-03 12:57:27 · 3991 阅读 · 0 评论 -
BERT下接连接层进行学习时分层设置学习率
对于已经声明好的模型 model ,获取其每层信息的方法:首先获取模型每层信息的的方法如下:for n,p in model.named_parameters() # n是每层的名称,p是每层的参数可以 print 出来看一看在笔者使用的模型中,Bert作为embedding层存在,其名称为‘embedding.xxxxx’对于embedding层,我是用已设置好的learning_rate = 3e-5那么接下来分组如下:optimizer_grouped_parameter原创 2022-02-24 16:33:23 · 3177 阅读 · 0 评论 -
机器学习笔记(不定时更新)
机器学习笔记pandas 函数pandas.get_dummies()对one-hot编码#以kaggle titanic 里面的片段为例features = ["Pclass", "Sex", "SibSp", "Parch"]X = pd.get_dummies(train_data[features])print(X)pandas.DataFrame() 可以用字典方式创建output = pd.DataFrame({'PassengerId': test_data.Passen原创 2021-02-03 22:24:33 · 142 阅读 · 0 评论