pytorch
Obolicaca
这个作者很懒,什么都没留下…
展开
-
pytoch查看代码当前所分配的内存大小
原创 2022-04-14 10:23:03 · 414 阅读 · 0 评论 -
检查CUDA是否可用的标准代码
if torch.cuda.is_available(): torch.set_default_tensor_type(torch. cuda. FloatTensor) print ("using cuda:",torch.cuda.get_device_name(0)) pass device = torch.device("cuda" if torch.cuda.is_available() else "cpu")device检查的语句是torch.cuda.is_.原创 2022-04-04 19:46:10 · 5558 阅读 · 0 评论 -
Pytorch对张量操作
创建操作——用于构造张量的函数,如ones()和from_numpy()。索引、切片、连接、转换操作——用于改变张量的形状、步长或内容的函数,如transpose()。数学操作——通过运算操作张量内容的函数:逐点操作——通过对每个元素分别应用一个函数来得到一个新的张量,如abs()和cos();归约操作——通过迭代张量来计算聚合值的函数,如mean()、std()和norm();比较操作——在张量上计算数字谓词的函数,如equal()和max();频谱操作——在频域中进行变换和操作的原创 2022-03-21 11:39:38 · 1230 阅读 · 0 评论 -
pytorch保存模型方法
Pytorch 有两种保存模型的方式,都是通过调用pickle序列化方法实现的。第一种方法只保存模型参数。第二种方法保存完整模型。推荐使用第一种,第二种方法可能在切换设备和目录的时候出现各种问题。1.保存模型参数方法:print(model.state_dict().keys()) # 输出模型参数名称# 保存模型参数到路径"./data/model_parameter.pkl"torch.save(model.state_d原创 2022-03-19 17:08:21 · 21716 阅读 · 0 评论 -
Linux查看anaconda的python解释器的方法
先进入anaconda虚拟环境,然后输入python3importsyssys.executable得到以下结果:原创 2022-03-17 21:53:50 · 2065 阅读 · 0 评论 -
Python: BERT Error - Some weights of the model checkpoint at were not used when initializing BertMod
在调用transformers预训练模型库时出现以下信息:Some weights of the model checkpoint at bert-base-multilingual-cased were not used when initializing BertForTokenClassification_: ['cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.dense.weight', 'cls.原创 2022-03-07 19:05:14 · 11459 阅读 · 3 评论 -
实现权重衰减和学习率预热
optimizer_param = list(model.named_parameters()) # named_parameters()获取模型中的参数和参数名字"""实现L2正则化接口,对模型中的所有参数进行L2正则处理,包括权重w和偏置b"""no_decay = ['bias', 'LayerNorm.bias', 'LayerNorm.weight'] # no_decay中存放不进行权重衰减的参数# any()函数用于判断给定的可迭代参数iterable是否全部为False,则返回F.原创 2022-03-03 19:45:28 · 1907 阅读 · 1 评论 -
学习率预热(transformers.get_linear_schedule_with_warmaup)
学习率预热 在预热期间,学习率从0线性增加到优化器中的初始lr。 在预热阶段之后创建一个schedule,使其学习率从优化器中的初始lr线性降低到0 Parameters optimizer (Optimizer)– 用于调度学习速率的优化器参数 num_warmup_steps (int)– 预热阶段的步骤数 num_training_steps (int)– 训练的总步骤数 last_epoch (int, optional, def...原创 2022-03-03 19:38:49 · 1948 阅读 · 0 评论 -
随机初始化种子(torch.manual_seed(params.seed) )的作用
在神经网络中,参数默认是进行随机初始化的。如果不设置的话每次训练时的初始化都是随机的,导致结果不确定。如果设置初始化,则每次初始化都是固定的。# 实验初始化if getattr(params, 'seed', -1) >= 0: np.random.seed(params.seed) torch.manual_seed(params.seed) # 为CPU设置种子用于生成随机数,以使得结果是确定的 if params.cuda: tor.原创 2022-02-24 21:05:44 · 1778 阅读 · 0 评论 -
src_emb.weight.data.copy_()用法
src_emb.weight.data.copy_(_src_emb) # embedding.weight.data.copy_(weight_matrix):使用预训练的词向量,在此处指定预训练的权重原创 2022-02-24 21:46:11 · 1609 阅读 · 0 评论