2020年11月_Muasci

原创技巧

介绍pytorch\python中的一些东西。getatteroptimizer = getattr(torch.optim, args.optimizer)(params, lr=args.learning_rate)seednp.random.seed(args.seed)torch.manual_seed(args.seed)if torch.cuda.is_available():torch.cuda.manual_seed(args.seed)hashlib.sha256has

2020-11-28 20:00:09 168

原创手把手教你使用torchtext

文章目录前言import自定义Dataset(写在__ init __ function)初始化Field初始化examples用Field和example构建Dataset产生迭代器(写在iters function)数据划分splits(实例化Dataset)实例化迭代器建立词表扯点别的——数据增强参考前言本文记录torchtext的简单使用，大致流程如下import需要的包自定义Dataset(__ init __ function)产生迭代器(iters function)impor

2020-11-27 22:34:40 885

原创 DistributedDataParallel的简单使用/常见问题/一些原理

importfrom torch.utils.data.distributed import DistributedSamplerimport torch.distributed as distargments在参数中添加local_rankparser.add_argument("--local_rank",type = int,default=-1)主函数local_rank = parser.local_rankdevice = local_rank if local_rank !

2020-11-25 10:52:08 6990 1

原创 tensor.scatter_(dim,index,src)理解

前言看到这样一行代码label = torch.zeros_like(pred_label)label.scatter_(1, batch_data.label.cuda().unsqueeze(dim=1), 1)解释我们先来看看pred_label的大小我们再来看看batch_data.label的大小tensor.scatter_(dim,index,src)这三个参数在这里设置为dim=1:...

2020-11-23 11:39:18 438

原创 Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders阅读笔记

前言论文链接本篇博客并没有完整的解读DIORA这篇论文，只是记录论文的inside pass与outside pass。下文都通过下图来介绍明确输入假定我们的输入句子为[“the”,“cat”,“drank”],我们先把它们输入到一个embedding层获得各自的单词词向量。代码:embed = self.embed(batch)论文:然后我们对[vthev_{the}vthe,vcatv_{cat}vcat,vdrankv_{drank}vdrank] (x)进行一些非线性变

2020-11-22 23:53:14 302 1

原创 ModuleNotFoundError: No module named ‘XXXX‘

前言这里的’XXXX’并不是python依赖库，而是你自己定义的py文件解决尝试添加一些路径import osimport sys__dir__ = os.path.dirname(os.path.abspath(__file__))sys.path.append(__dir__)sys.path.append(os.path.abspath(os.path.join(__dir__, '..')))sys.path.append(os.path.abspath(os.path.join(

2020-11-22 18:08:50 138

原创自定义dataloader里的batch_sampler，你就不需要再做padding了！

前言今天看代码，居然已经水了三篇…这是第四篇。在说batch_sampler之前，这里不要脸的放一下之前关于dataset和dataloader的博客正文我在下面的代码中第一次看到了batch_sampler，于是好奇去看看这个FixedLengthBatchSampler到底在干嘛。iter(self)首先它放到dataloader里，肯定是要迭代生成一些东西，所以先去看它的__iter__()然后发现它做了两件事情...

2020-11-17 07:42:25 6495 9

原创 ELMo预训练模型使用

文章目录前言导入预训练模型后续使用拓展前言并没有了解很多相关，依旧是基于现在在看的这份代码。代码中的ELMo是用allennlp库导入的。导入预训练模型首先设定weights路径和options路径。比如:weigthtshttps://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5optio

2020-11-16 18:09:12 1661 4

原创 hashlib.sha256理解

前言遇到这么一串代码:理解key=hash_vocab(vocab)。作者的这串代码做的就是:我读入一个数据集，建立一个vocab，只要数据集不同，vocab里面的单词就一定不同。所以:首先，hashlib.sha256会随机产生一段密钥然后遍历这一个vocab中的所有单词(注意要先排序，如果是乱序，那么同一个数据集，最终迭代产生的密钥也是不同的)。对单词先encode，然后更新这个密钥最后使用.hexdigest()返回最终的密钥。也就是下面的文件名:...

2020-11-16 17:40:38 4368

原创 parser.parse_known_args()理解

前言有一天我看到这样一行代码:理解那是因为parser的传参不是一次就传完的，它分了两次。aegument_parser()对应options; add_argument额外加的参数对应后面的other_args参考here

2020-11-16 16:11:20 4545

原创数据库入门——三个范式

前言我觉得他说的最对:我也来解释一波，参考《数据库系统概念》。第一范式书上一开始讲得什么"组合属性"、“多值属性”，都是在讲 E-R模型和表的区别，就是说E-R模型允许存在上述子结构，而表不能，跟第一范式的解释没有直接关系。第一范式实际的解释为:关系模式中所有的属性的域都是原子域。举几个反例:例子1:属性children(书上的例子,children里面的值是孩子的名字)的域就不是原子域，因为名字还能分成姓和名。例子2:属性address还能分成街道、城市等等子结构例子3:属性课程标识

2020-11-15 23:42:50 241

原创 Linux入门——系统用户与用户组管理

基础知识每一个用户有一个UserID，每一个组有一个GroupID每个用户属于一个主组，属于一个或多个附属组每个可登录的用户拥有一个指定的shell(问题1:什么是shell)UserID为32位，但被限制在6万以下用户分成三类:root(0);系统用户(1-499);普通用户(>=500)命令id显示当前用户的信息(id)passwd修改当前用户密码(passwd)标准输入直接修改密码(echo 密码|passwd 用户)让用户密码失效(passwd

2020-11-15 21:36:11 150

原创 mathtype下载之后word工具栏不出现

前言很烦。安装了mathtype7，但是word中并没有。解决跟其它方法不一样。我是直接加入了dotm和wll文件。具体如下:文件->选项->加载项第一步:添加wll文件将管理改成word加载项，然后点击转到；然后点击添加;按照下面的路径查找wll文件(你也可以试试64):C:\Program Files (x86)\MathType\MathPage\32打开之后你发现啥也没有，然后把下面的改成Word加载项就可以看见wll文件了:第二步添加dotm文件回到第

2020-11-11 17:41:25 2007

原创 nohup命令使程序后台运行

前言之前在 python 程序名.py 后面加了个 & , 以为就是后台了。但断网之后还是会断。nohupnohup命令使程序后台运行运行:nohup python run.py --model="max_sentence_embedding" &查看:grep --color=auto python run.py --model=max_sentence_embedding现在应该就不需要向清华卷王致敬了。...

2020-11-10 18:10:27 163

原创 [github]——问题:ask-pass-trampoline.bat: No such file or directory fatal: could not read Usename

问题(问题截图取自它处)解决https://stackoverflow.com/questions/42915793/attempting-push-on-git-and-receiving-could-not-read-username-for-https-githu

2020-11-05 18:04:03 1059

原创 inside-outside algorithm详解

前言这篇文章用白话讲解inside-outside算法，以及算法在EM评估中的应用。原PDF说，inside-outside算法与马尔可夫模型中的前向、后向算法有类似之处，这一点我进一步理解。基础定义inside-outside algorithm目前只讲到了α是怎么计算的，β还没来得及整理。...

2020-11-05 17:10:53 1339

原创 DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference阅读笔记

前言看了这一篇，做一个笔记，万一以后又做任务二了前人的工作(不重要)模型(*)按照自己的理解，将其encoding层和inference层。首先明确模型输入: u = [u1u_1u1,u2u_2u2…], v = […]里面的元素都是300维的glove词向量。encoding层先说 “encode u depending on v”：首先在v上做bilstm，得到两个返回值，分别是每一个时间步的隐藏层输出和（最后时间步的隐藏层，记忆细胞）然后把（最后时间步的隐藏层，记

2020-11-05 11:03:33 638 2

jokerxsy的博客