小白之比白更白的博客

通用模板如下，第一个参数是控制条件，这里是小于0，第二个元素是满足条件的赋值，第三个是不满足条件的赋值，这里不小于0则保留原来的数值。同理，不小于0的可以赋值为1。

torch.utils.data.DataLoader是PyTorch中数据读取的一个重要接口，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口。本文介绍torch.utils.data.DataLoader与torch.utils.data.Dataset结合使用的方法。

取出BERT中的某一部分网络/参数，其他模型同理。

经常回会忘记reshape的参数是什么意思.例如x.shapeOut[14]: torch.Size([1000])y=x.reshape((-1, 1))那么y.ShapeOut[14]: torch.Size([1000,1])第一个参数是行数,第二个参数是列数,如果设置成-1,就是根据另一个参数的和原本大小自动计算另一个参数化值.也即是这里y=x.reshape((1000, 1))得到的是一样的结果.因为可以自动根据总大小1000,和另一个参数列数.

昨天要处理几个G的数据时，要把原来用awk写的脚本改成用python写，存储成字典后要搜索键值，一开始用的是in data.keys()来判断是否存在，结果跑大半天都没有跑出结果if key in data.keys(): #时间复杂度为O(n) code if data.get(key, False): #时间复杂度O(1) code False是如果没有这个键值的话默认的返回值这就是差距，一个复杂度是O(n)，一个是O(1)，如果数据量大的话，这是显著

split()函数只能用单一分隔符来分割字符串但是可以导入re包，re.split()可以则可以使用多分隔符进行划分import re多个分隔符之间用｜分开line = re.split('\t|\1', str)如果字符串中有多个连续分隔符，可以用正则表达式的形式处理,*号表示闭包（0个或多个）line = re.split('[\t|\1]*', str)这里必须说一下awk这个语言。处理文本真的是太方便了如果用awk写的话可以直接这样使用awk -F.