![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP学习
zixufang
这个作者很懒,什么都没留下…
展开
-
pytorch tensor(.data,.clone(),.detach())区别
clone()是不内存共享的。clone()得到的Tensor不仅拷贝了原始的value,而且会计算梯度传播信息,copy_()只拷贝数值。对b处理,grad会返回到a身上。但是b 不会有 grad 属性。b = a.clone()#a经过克隆得到b,c = (b ** 2).mean()#c.backward()print('a_grad:', a.grad)#但是梯度传播没有因此中断...原创 2020-03-09 12:39:20 · 1013 阅读 · 1 评论 -
pytorch损失函数总结
感谢博主https://blog.fanyangmeng.com/deep-learning/pytorch/pytorchnotes-lossfunc/原创 2020-03-02 22:38:03 · 270 阅读 · 0 评论 -
pytorch导入预训练模型部分参数
checkpoint = torch.load(checkpoint) start_epoch = checkpoint["epoch"] + 1 #best_score = checkpoint["best_score"] best_score = 0 print("\t* Training will conti...原创 2020-03-01 11:39:40 · 1688 阅读 · 1 评论 -
运行python程序输入到特定文件
logging教程学习https://www.jianshu.com/p/feb86c06c4f4原创 2019-11-01 17:16:52 · 228 阅读 · 0 评论 -
torch常用损失函数
https://www.cnblogs.com/marsggbo/p/10401215.html总是记不住.....也是绝了.....原创 2019-10-16 11:21:28 · 774 阅读 · 0 评论 -
闲记
零散问题:1)编辑距离def minEditDist(sm,sn): m,n = len(sm)+1,len(sn)+1 # create a matrix (m*n) matrix = [[0]*n for i in range(m)] matrix[0][0]=0 for i in range(1,m): matrix[i][0]...原创 2019-09-08 18:07:10 · 119 阅读 · 0 评论 -
fewshot意图识别
Few-Shot Text Classification with Induction Network在test的时候怎么进行,meta learning:每一个training episode,在training set中选择C个classes,在每个class下选择training data(样本环境)和testing data(即为query),这C个classes的所有train...原创 2019-09-04 19:46:48 · 930 阅读 · 0 评论 -
对话系统实现
问题:G和D分别如何构造,两者如何连接,一整个对话过程如何预处理代码学习:https://github.com/shawnwun/NNDIALhttps://github.com/MiuLab/DDQ* The encoder modules contain:- LSTM encoder : an LSTM network that encodes the user ...原创 2019-03-19 18:42:19 · 977 阅读 · 2 评论 -
自然语言李宗成笔记
nlp处理方法:基于规则基于语料库:理论基础:数理统计,信息论概率论最大似然:频率接近概率条件概率,全概率,贝叶斯二项式分布,事件X出现的概率次数X~B(N,P)B(N,P)B(N,P)期望,方差,信息论:熵:描述随机变量的不确定性-----H(X)=−∑x∈Xp(x)log2p(x)H(X) = - \sum_{x∈X}p(x)log_2p(x)H(X)=−∑x...原创 2019-03-11 10:36:14 · 151 阅读 · 0 评论 -
对话系统,情感分析,有没有可能结合
在对话系统中情感应该是个重要的因素。lijiwei的文章里加入人格,它的人格是说话的方式,比如具有地区性方言性。而我想的是:分析提问者的情绪状态,从而产生不同的对策(回答问题的风格,消极积极。)。Ma我的想法:没有应用市场,本来回答问题就应该是积极应对-->相关论文更新我的胡乱想法。search keyword-dialogue sentiment得到:Generat...原创 2019-01-13 15:24:03 · 1189 阅读 · 3 评论 -
transformer代码学习
pad_attn_mask = seq_k.data.eq(0).unsqueeze(1)eq函数是留下seq_k等于0的坐标,seq_k是enc_inputsfeedforward层使用一维卷积,常用于自然语言处理本来是实现的是class PoswiswFeedForwardNet(nn.Module): def init(self): super(PoswiswFeedF...原创 2019-02-16 11:36:16 · 2029 阅读 · 0 评论