- 博客(697)
- 收藏
- 关注
RSS订阅原创 torch中三维四维矩阵运算，以及多维softmax运算
三维矩阵*三维矩阵import torchtensors = torch.tensor([[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]]])print(tensors.data)print(tensors.data.shape)mul_result = torch.matmul(tensors,tensors...
2020-03-15 13:27:59
7185
2
原创 torchtext不支持对数据进行拆分
train_path = '../data/match_data/train.csv'test_path = '../data/match_data/dev.csv'all_train_data = pd.read_csv(train_path)train, val = train_test_split(all_train_data, test_size=0.2)train.to_csv...
2020-03-15 12:53:45
409
原创 torch实现ESIM算法
ESIM的模型代码见：# -*- coding: utf-8 -*-# @Time : 2020/2/25 11:19# @Author : liusenfrom torch import nnimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimf...
2020-03-15 12:51:15
1867
3
原创 贪心学院从BERT到XLNET
在b站看贪心学院最后一节课从BERT到XLNET的分享上面PPT可以看到1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/989433832.XLNET不同于BERT中的self Attention而使用Two-strea...
2020-02-24 19:49:18
490
原创 文本分类之多标签分类
多标签分类综述意义网络新闻往往含有丰富的语义，一篇文章既可以属于“经济”也可以属于“文化”。给网络新闻打多标签可以更好地反应文章的真实意义，方便日后的分类和使用。难点类标数量不确定，有些样本可能只有一个类标，有些样本的类标可能高达几十甚至上百个。 类标之间相互依赖，例如包含蓝天类标的样本很大概率上包含白云，如何解决类标之间的依赖性问题也是一大难点。 多标签的训练集比较难以获取。...
2020-02-19 11:30:12
4625
原创 贪心学院transformer模型讲解记录
1.FFN层和z1和z2层是不同的，FFN层是隔开的，权重不共享的，而Z1和Z2不是隔开的2.Q,K,V是借鉴了搜索的思维在里面，Q是query的意思，<K,V>是<key,value>的意思,Q值就是word应该映射一会进行搜索的值，K是搜索的目标，V是目标值，类似K是文档的主题，V是文档的向量，Q是搜索文档的文本。这样就能训练得到word与word之间的关系，不...
2020-02-18 15:05:10
587
原创 达摩院NLPer分享soft-lexicon
实体识别使用GCN+soft-Lexicon1.lattice-lstm只能用在RNN中，而soft-Lexicon只是词的embedding有改动啊，后面可以接入各种模型2.lattice-lstm 里面可以看出做各种attention的输入3.Lexicon 还考虑了就是字在词中的作用，而lattice-lstm只考虑了词的开头和结尾4.lattice 中词的头部输入是整个...
2020-02-14 17:45:05
1731
1
原创 梯度消失和梯度爆炸以及batch normalization
梯度消失和梯度爆炸的详细讲解莫烦的视频讲解BNgithub代码地址 for i in range(N_HIDDEN): # build hidden layers and BN layers input_size = 1 if i == 0 else 10 fc = nn.Linear(inpu...
2020-02-14 17:27:45
522
原创 项目管理流程
1.弄清楚项目的目标，也就是对应的业务指标，做一个项目要对业务有什么帮助？2.弄清楚功能有哪些，通过哪些技术可以实现，实现效果怎么样,判断是否有替代方案来解决这个问题，或者对功能进行修改。3.整理好具体技术方案以后，形成工程流程图4.分析需要做什么工作，对工作进行划分，切割，开是否能并行做，并进行排期设置时间节点（尽可能的拆分比较细）5.制定契约，内部进行开发，一阶段先mock开发...
2020-02-14 16:27:13
280
原创 莫烦Pytorch学习笔记
学习笔记整理连接莫烦Pytorch的github代码CNN章节：讲解CNN的时候padding的值等于 (kernel_size-1)/2 还有每一个层的参数的shape计算很重要 还有卷积核的作用(过滤信息) 池化层的作用降维并且抓住主要特征（为什么要用池化，池化mean和max方法的不同） padding的作用见https://blog.csdn.net/ningyangg...
2020-02-10 18:03:51
371
原创 torch中的tensor可以跟numpy中的array进行转化
转化学习连接import numpy as npimport torchnumpy_data = np.arange(6).reshape([2, 3])torch_data = torch.from_numpy(numpy_data)tensor2array = torch_data.numpy()print(numpy_data)print(torch_data)p...
2020-02-09 13:01:23
726
原创 深度学习数据归一化的方法
normalization的介绍详细介绍LNBN的tensorflow调用方法CNN使用BN方法BN是对同一batch的样本进行归一化（使用高斯归一化方法）BN是同一个batch的样本进行归一化如果batch特别小的时候就会出现不稳定情况BN不能对长度大小不一致的RNN进行处理，因为均值这些都向量长度不一样，不能得到均值LN针对同一个样本里面进行高斯归一化就可以解决这个...
2020-01-16 14:30:27
867
原创 推荐系统综述
FM系列推荐模型GBDT+LR机器学习算法汇总lightLGB可以替换GBDT生成lightLGB+LR模型进行推荐FM模型：1.主要添加特征之间的交互FFM模型：1.FFM跟FM比较主要添加一个field的特征FM和FFM对比文章FFM中field也存在一个向量来表示fieldNFFM模型：NFFM模型学习链接deepFM模型：deepFM学习...
2020-01-09 16:09:53
167
原创 关系抽取之远程监督
远程监督综述思考：1.无监督的方法会出现语义漂移的情况2.无监督的方法怎么计算相似度阈值？3.远程监督的方法通过多个二分类可以解决一句话多个关系情况有一定的纠错能力远程监督的纠错能力举例子：小明和小红 有 夫妻关系和同学关系两种关系小明跟小红是夫妻 因为同时出现小明和小红 所以这句话即是夫妻关系也是同学关系但是很多人只有夫妻关系并没有同学关系小江和小兰是夫妻 ...
2020-01-09 15:44:31
481
原创 小样本学习综述
说到小样本学习一定要先看Meta Learning小样本学习的名词解释说明MAML算法提供一个模型无关计算框架，怎么做到模型无关，主要是loss计算不同，计算框架类似adaboost，里面可以换各种算法Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks原始论文必看github代码meta.py的...
2019-12-30 13:47:20
884
原创 pytorch模型训练步骤
讲解代码textcnn模型1.加载conf文件x = import_module('models.' + model_name) config = x.Config(dataset, embedding)2.加载model，初始化conf里面值model = x.Model(config).to(config.device)3.加载模型训练...
2019-12-22 12:44:42
1636
4
原创 使用对抗训练提高textcnn的文本分类准确率
实验算法pytorch里面的textcnn算法对抗学习代码博客Fast Gradient Method（FGM）对输入的embedding进行对抗扰动说明对embedding进行扰动pytorch算法中的embedding表示...
2019-12-22 11:40:31
1455
原创 rasa_core中报错Timezone offset does not match system offset: 0 != -32400. Please, check your config fil
解决问题链接
2019-12-09 16:18:41
384
原创 rnn之dropout
rnn源码解析专门论文讨论dropoutdropout的应用问题思考：dropout在两个位置进行结果相差不多？为什么？跟论文不一致
2019-12-02 15:38:22
535
原创 BERT进行文本分类和文本匹配的不同
def convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer): """Converts a single `InputExample` into a single `InputFeatures`.""" if isinstan...
2019-11-27 15:27:48
1935
原创 ELECTRA模型跟BERT的区别
综合分析ELECTRA跟BERT模型的对比思考：1.类似GAN模型，但是由于梯度不能从判别模型到生成模型，所以只能综合两者的损失值对生成模型进行损失传递。2.生成损失 对生成模型进行传导 生成损失+判别损失 对判别模型进行传导...
2019-11-24 16:32:13
1393
原创 roberta跟bert的对比
roberta到底改进了什么？三个训练改进：去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码，得到一个静态掩码。 而 RoBERTa 使用了动态掩码：每次向模型输入一个序列时都会生成新的掩码模式。这样，在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习不同的语言表征。 文本编码。Byte-P...
2019-11-24 16:13:52
12346
1
原创 NLP比赛模型融合的思路
比赛模型融合思路1.就是先训练第一个模型然后冻结第一个模型然后训练两个模型，这种方法两个模型最好属于两个体系，一个CNN一个RNNtensorflow模型冻结方法2.训练多个模型，然后用模型的预测结果[0.1,0.9]表示第二类，多个模型的相加选取最高的作为结果。等权重融合，也可以根据准确率进行加权融合，也可以在结果上面再加一个GBDT再次进行分类。别人总结思考总结学习...
2019-11-22 14:00:46
1357
原创 文本匹配算法总结
文本相似度计算总结孪生神经网络算法思考：1.孪生神经网络算法什么时候进行权重共享？2.是否可以加attention+cnn进行增强。3.孪生神经网络算法可以通过网络计算出句向量，新的句子出来的时候可以直接跟句向量进行计算相似度，提高速度。4.可以使用孪生神经网络算法进行粗排序，然后使用bert模型进行精排序。5.孪生神经网络算法里面的lstm能不能换成BERT?孪生...
2019-11-22 11:09:58
976
1
原创 tensorflow dense的用法
学习链接在不使用dense的时候可以使用下面的方法生成全连接 attention_w = tf.Variable(tf.truncated_normal([hidden_size, attention_size], stddev=0.1), name='attention_w') attention_b = tf.Variable(tf.constant(0.1,...
2019-11-05 19:42:08
897
原创 albert和bert的不同
1.参数因式分解run_pretrainingbert:def get_masked_lm_output(bert_config, input_tensor, output_weights, positions, label_ids, label_weights): """Get loss and log probs for t...
2019-11-05 19:29:34
2801
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人