qq_41654608的博客

原创 annotated_without_head

原创 distributedDataparallel 單機多卡并行使用

. distributedDataparallelDistributed communication package - torch.distributed​pytorch.org/docs/stable/distributed.html#launch-utilityThis is the highly recommended way to useDistributedDataParallel, with multiple processes, each of which operates on a

原创 linux, 进程, 查看, 杀死

进程查看ps ax : 显示当前系统进程的列表ps aux : 显示当前系统进程详细列表以及进程用户ps ax|less : 如果输出过长，可能添加管道命令 less查看具体进程， 如：ps ax|grep XXX（XXX为进程名称）获取进程idshell获取进程ID的方法：　　ps -A |grep “cmdname”| awk ‘{print $1}’　　pidof “cmdname”　　pgrep “cmdname”这三种在bash和busybox ash里面的运行结果稍有不同，第

原创 TypeError: dropout(): argument ‘input‘ (position 1) must be Tensor, not str

https://stackoverflow.com/questions/65082243/dropout-argument-input-position-1-must-be-tensor-not-str-when-using-bert

原创 CUDA：CUDA out of memory. Tried to allocate 100.00 MiB (GPU 0； 15.78 GiB total capacity； 14.24 GiB al

1.batch_size调整batch_size调整小了的影响：区别：在于变化的趋势，一个快，一个慢。在显存能允许的情况下，同样epoch的树木，batchsize大的需要的batch数目减少，因此训练时间也减少了。大的batchsize梯度计算的更加稳定，模型的训练曲线可能会更加的平滑。微调的时候大的batchsize可能会取得更好的结果。模型性能但可能会下来。大的batchsize减少训练的时间，提高稳定性。小的batchsize引入随机性的机会大一些，具有更好地泛化能力，2.BN层 affi

原创 python def main 与 if __name__ == ‘__main__‘的区别

个人理解：方便被调用

原创 pytorch loss

原创 记录REDTEA最高价值的采样

--------------the relation is: org:dissolved ----------------org:dissolved关系下触发词数量为： 23 org:dissolved关系下的采样的样本数：23.relation_length 23 l_sample 2--------------the relation is: per:country_of_death ----------------per:country_of_death关系下触发词数量为： 6 per:cou

原创 历史遗留问题：处理了null的脏数据 可是什么动作会产生null了？

原创 关于python迭代器元素的剥脱：remove涉及的反复寻址的问题，还是简单的逻辑append解决问题

关于python迭代器元素的剥脱：remove涉及的反复寻址的问题，最终还是简单的逻辑append解决问题以下红框为改动之处：增加红框之前的输出：改动逻辑之后的输出：【总结】：正向逻辑行不通的时候往往要考虑逆向逻辑。...

原创 json pickle

pickle 模块提供了以下 4 个函数供我们使用：dumps()：将 Python 中的对象序列化成二进制对象，并返回；loads()：读取给定的二进制对象数据，并将其转换为 Python 对象；dump()：将 Python 中的对象序列化成二进制对象，并写入文件；load()：读取指定的序列化数据文件，并返回对象。...

原创 reshape（-1）&&&Tensor（-1） 的区别

举个简单的例子，要记住，python默认是按行取元素c = np.array([[1,2,3],[4,5,6]])输出：[[1 2 3][4 5 6]]我们看看不同的reshapeprint ‘改成2行3列:’print c.reshape(2,3)print ‘改成3行2列:’print c.reshape(3,2)print ‘我也不知道几行，反正是1列:’print c.reshape(-1,1)print ‘我也不知道几列，反正是1行：’print c.reshape(1,

原创 MAML的task理解

MAML的论文中多次出现名词task，模型的训练过程都是围绕task展开的，而作者并没有给它下一个明确的定义。要正确地理解task，我们需要了解的相关概念包括[公式], [公式] , support set, query set, meta-train classes, meta-test classes等等。是不是有点眼花缭乱？不要着急，举个简单的例子，大家就可以很轻松地掌握这些概念。我们假设这样一个场景：我们需要利用MAML训练一个数学模型模型 [公式] ，目的是对未知标签的图片做分类，类别包括 [公

原创 2021-09-23实验记录

2021-09-17实验记录今天主要核验了为什么data->example->features->tensor过程中从data到example的过程中数量会从1037、358、357对话数量中变成下图成倍的example的增长？改一次bertsf1c的for循环生成的结果：改两次for循环生成的结果：我的疑问：是不是评价f1c真的需要这么多特征train里面90350九万多examples。那么为什么会生成这么多特征呢？...

原创 9.22实验记录

用的berts训练的模型：python evaluate.py --f1dev berts_f1/logits_dev.txt --f1test berts_f1/logits_test.txt --f1cdev berts_f1c/logits_dev.txt --f1ctest berts_f1c/logits_test.txt这实验结果我着实有点看不懂了奥test (P R F1) 0.38946723821187995 0.4167758846657929 0.402659069325736.

原创 9.17实验日志

bug：解决方法：在run_classifier_trigger.py中的bertsf1cProcessor方法中的d[0]没有加载。

原创 pytorch生成升序matrix方法【有】

import torchrectangle_height = 3rectangle_width = 3inputs = torch.randn(rectangle_height, rectangle_width)for i in range(rectangle_height): for j in range(rectangle_width): inputs[i] = i * torch.ones(rectangle_width) ''' --

原创 【RARE实验】28号卡的默认cuda版本

28号卡的默认cuda版本我没有升级到10.1，直接使用的上图版本如果出现问题再切换吧。因为~/.bashrc里面好像也没有添加CUDA的新环境变量。需要的时候，再切换版本吧。28卡上还有11的CUDA用的时候再切换吧...

原创 卷积层，池化层，全链接层

卷积层(Convolutional layer)主要是用一个采样器从输入数据中采集关键数据内容；池化层(Pooling layer)则是对卷积层结果的压缩得到更加重要的特征，同时还能有效控制过拟合。但是可怜的全连接层(Fully Connected layer)很多时候都被忽略了，可能大佬们觉得我们都能懂吧。。查阅了一下资料，大概理解了全连接层的作用，即将前面经过多次卷积后高度抽象化的特征进行整合，然后可以进行归一化，对各种分类情况都输出一个概率，之后的分类器(Classifier)可以根据全连..

原创 2021-03-07

对比实验技巧抓住f1上升的一些对照组去分析问题。

原创 python

@[python初学记错]在使用dict()函数时，报错’dict’ object is not callable之前定义过了dict为一个字典所以调用函数失败欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮