Obolicaca的博客

原创 pytoch查看代码当前所分配的内存大小

原创 检查CUDA是否可用的标准代码

if torch.cuda.is_available(): torch.set_default_tensor_type(torch. cuda. FloatTensor) print ("using cuda:",torch.cuda.get_device_name(0)) pass device = torch.device("cuda" if torch.cuda.is_available() else "cpu")device检查的语句是torch.cuda.is_.

原创 序列标注算法评估模块seqeval的使用

NLP（二十三）序列标注算法评估模块seqeval的使用 - 山阴少年 - 博客园

原创 Pytorch对张量操作

创建操作——用于构造张量的函数，如ones()和from_numpy()。索引、切片、连接、转换操作——用于改变张量的形状、步长或内容的函数，如transpose()。数学操作——通过运算操作张量内容的函数：逐点操作——通过对每个元素分别应用一个函数来得到一个新的张量，如abs()和cos()；归约操作——通过迭代张量来计算聚合值的函数，如mean()、std()和norm()；比较操作——在张量上计算数字谓词的函数，如equal()和max()；频谱操作——在频域中进行变换和操作的

原创 pytorch保存模型方法

Pytorch 有两种保存模型的方式，都是通过调用pickle序列化方法实现的。第一种方法只保存模型参数。第二种方法保存完整模型。推荐使用第一种，第二种方法可能在切换设备和目录的时候出现各种问题。1.保存模型参数方法:print(model.state_dict().keys()) # 输出模型参数名称# 保存模型参数到路径"./data/model_parameter.pkl"torch.save(model.state_d

原创 Linux查看anaconda的python解释器的方法

先进入anaconda虚拟环境，然后输入python3importsyssys.executable得到以下结果:

原创 python 读取数据出现UnicodeDecodeError：: ‘utf-8‘ codec can‘t decode byte 0xc8 in position 0: invalid contin

解决方法:读取时也可以用二进制模式打开的文件（包括模式参数中的'rb'）将内容作为字节对象，而不进行任何解码。然后使用line.decode(‘utf-8’，errors = 'ignore')解码，其中的errors参数:修改字符集参数，一般这种情况出现得较多是在国标码(GBK)和utf-8之间选择出现了问题。出现异常报错是由于设置了decode()方法的第二个参数errors为严格（'strict'）形式造成的，因为默认就是这个参数，将其更改为'ignore'等即可。举例:import

原创 Python: BERT Error - Some weights of the model checkpoint at were not used when initializing BertMod

在调用transformers预训练模型库时出现以下信息：Some weights of the model checkpoint at bert-base-multilingual-cased were not used when initializing BertForTokenClassification_: ['cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.dense.weight', 'cls.

原创 实现权重衰减和学习率预热

optimizer_param = list(model.named_parameters()) # named_parameters()获取模型中的参数和参数名字"""实现L2正则化接口，对模型中的所有参数进行L2正则处理，包括权重w和偏置b"""no_decay = ['bias', 'LayerNorm.bias', 'LayerNorm.weight'] # no_decay中存放不进行权重衰减的参数# any()函数用于判断给定的可迭代参数iterable是否全部为False，则返回F.

原创 学习率预热(transformers.get_linear_schedule_with_warmaup)

学习率预热 在预热期间，学习率从0线性增加到优化器中的初始lr。 在预热阶段之后创建一个schedule，使其学习率从优化器中的初始lr线性降低到0 Parameters optimizer (Optimizer)– 用于调度学习速率的优化器参数 num_warmup_steps (int)– 预热阶段的步骤数 num_training_steps (int)– 训练的总步骤数 last_epoch (int, optional, def...

转载 os.path.dirname()用法

os.path.dirname()用法

原创 getattr() 函数用法

描述getattr()函数用于返回一个对象属性值。语法getattr 语法：getattr(object, name[, default])参数object -- 对象。 name -- 字符串，对象属性。 default -- 默认返回值，如果不提供该参数，在没有对应属性时，将触发 AttributeError。返回值返回对象属性值。实例以下实例展示了 getattr 的使用方法：以下实例展示了 getattr 的使用方法：>>>c.

原创 src_emb.weight.data.copy_()用法

src_emb.weight.data.copy_(_src_emb) # embedding.weight.data.copy_(weight_matrix):使用预训练的词向量，在此处指定预训练的权重

原创 随机初始化种子(torch.manual_seed(params.seed) )的作用

在神经网络中，参数默认是进行随机初始化的。如果不设置的话每次训练时的初始化都是随机的，导致结果不确定。如果设置初始化，则每次初始化都是固定的。# 实验初始化if getattr(params, 'seed', -1) >= 0: np.random.seed(params.seed) torch.manual_seed(params.seed) # 为CPU设置种子用于生成随机数，以使得结果是确定的 if params.cuda: tor.

原创 argparse模块使用方法

argparse模块使用方法