![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
普通网友
这个作者很懒,什么都没留下…
展开
-
dropout的实现方法
dropout详解dropout的实现方法原创 2020-03-05 14:42:29 · 1829 阅读 · 0 评论 -
torchtext进行文本预处理
torchtext文本预处理学习链接原创 2020-02-26 17:24:07 · 1161 阅读 · 0 评论 -
torch使用lstm进行文本分类
文本分类学习链接原创 2020-02-26 17:15:52 · 2503 阅读 · 1 评论 -
torch实现one-hot对label进行处理
学习链接原创 2020-07-12 16:07:22 · 1003 阅读 · 0 评论 -
贪心学院从BERT到XLNET
在b站看贪心学院最后一节课从BERT到XLNET的分享上面PPT可以看到1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/989433832.XLNET不同于BERT中的self Attention而使用Two-strea...原创 2020-02-24 19:49:18 · 503 阅读 · 0 评论 -
文本分类之多标签分类
多标签分类综述意义网络新闻往往含有丰富的语义,一篇文章既可以属于“经济”也可以属于“文化”。给网络新闻打多标签可以更好地反应文章的真实意义,方便日后的分类和使用。难点类标数量不确定,有些样本可能只有一个类标,有些样本的类标可能高达几十甚至上百个。 类标之间相互依赖,例如包含蓝天类标的样本很大概率上包含白云,如何解决类标之间的依赖性问题也是一大难点。 多标签的训练集比较难以获取。...原创 2020-02-19 11:30:12 · 4672 阅读 · 0 评论 -
贪心学院ELmo模型讲解记录
1.应该是(v晚上)是用(h2(3) + h2(2) + h2(1))加权平均获得,权值根据下游的任务进行训练获取原创 2020-02-18 18:12:55 · 327 阅读 · 0 评论 -
贪心学院transformer模型讲解记录
1.FFN层和z1和z2层是不同的,FFN层是隔开的,权重不共享的,而Z1和Z2不是隔开的2.Q,K,V是借鉴了搜索的思维在里面,Q是query的意思,<K,V>是<key,value>的意思,Q值就是word应该映射一会进行搜索的值,K是搜索的目标,V是目标值,类似K是文档的主题,V是文档的向量,Q是搜索文档的文本。这样就能训练得到word与word之间的关系,不...原创 2020-02-18 15:05:10 · 602 阅读 · 0 评论 -
达摩院NLPer分享soft-lexicon
实体识别使用GCN+soft-Lexicon1.lattice-lstm只能用在RNN中,而soft-Lexicon只是词的embedding有改动啊,后面可以接入各种模型2.lattice-lstm 里面可以看出做各种attention的输入3.Lexicon 还考虑了就是字在词中的作用,而lattice-lstm只考虑了词的开头和结尾4.lattice 中词的头部输入是整个...原创 2020-02-14 17:45:05 · 1767 阅读 · 1 评论 -
梯度消失和梯度爆炸以及batch normalization
梯度消失和梯度爆炸的详细讲解莫烦的视频讲解BNgithub代码地址 for i in range(N_HIDDEN): # build hidden layers and BN layers input_size = 1 if i == 0 else 10 fc = nn.Linear(inpu...原创 2020-02-14 17:27:45 · 529 阅读 · 0 评论 -
深度学习数据归一化的方法
normalization的介绍详细介绍LNBN的tensorflow调用方法CNN使用BN方法BN是对同一batch的样本进行归一化(使用高斯归一化方法)BN是同一个batch的样本进行归一化如果batch特别小的时候就会出现不稳定情况BN不能对长度大小不一致的RNN进行处理,因为均值这些都向量长度不一样,不能得到均值LN针对同一个样本里面进行高斯归一化就可以解决这个...原创 2020-01-16 14:30:27 · 872 阅读 · 0 评论 -
关系抽取之远程监督
远程监督综述思考:1.无监督的方法会出现语义漂移的情况2.无监督的方法怎么计算相似度阈值?3.远程监督的方法通过多个二分类可以解决一句话多个关系情况有一定的纠错能力远程监督的纠错能力举例子:小明和小红 有 夫妻关系和同学关系两种关系小明跟小红是夫妻 因为同时出现小明和小红 所以这句话即是夫妻关系也是同学关系但是很多人只有夫妻关系并没有同学关系小江和小兰是夫妻 ...原创 2020-01-09 15:44:31 · 488 阅读 · 0 评论 -
胶囊网络学习链接
胶囊网络学习博客胶囊网络文本分类代码胶囊网络其中求解cij使用动态路由算法进行计算原创 2019-12-30 14:16:08 · 254 阅读 · 0 评论 -
小样本学习综述
说到小样本学习一定要先看Meta Learning小样本学习的名词解释说明MAML算法提供一个模型无关计算框架,怎么做到模型无关,主要是loss计算不同,计算框架类似adaboost,里面可以换各种算法Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks原始论文必看github代码meta.py的...原创 2019-12-30 13:47:20 · 898 阅读 · 0 评论 -
使用对抗训练提高textcnn的文本分类准确率
实验算法pytorch里面的textcnn算法对抗学习代码博客Fast Gradient Method(FGM)对输入的embedding进行对抗扰动说明对embedding进行扰动pytorch算法中的embedding表示...原创 2019-12-22 11:40:31 · 1491 阅读 · 0 评论 -
rnn之dropout
rnn源码解析专门论文讨论dropoutdropout的应用问题思考:dropout在两个位置进行结果相差不多?为什么?跟论文不一致原创 2019-12-02 15:38:22 · 545 阅读 · 0 评论 -
BERT进行文本分类和文本匹配的不同
def convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer): """Converts a single `InputExample` into a single `InputFeatures`.""" if isinstan...原创 2019-11-27 15:27:48 · 1969 阅读 · 0 评论 -
ELECTRA模型跟BERT的区别
综合分析ELECTRA跟BERT模型的对比思考:1.类似GAN模型,但是由于梯度不能从判别模型到生成模型,所以只能综合两者的损失值对生成模型进行损失传递。2.生成损失 对生成模型进行传导 生成损失+判别损失 对判别模型进行传导...原创 2019-11-24 16:32:13 · 1413 阅读 · 0 评论 -
roberta跟bert的对比
roberta到底改进了什么?三个训练改进:去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码,得到一个静态掩码。 而 RoBERTa 使用了动态掩码:每次向模型输入一个序列时都会生成新的掩码模式。这样,在大量数据不断输入的过程中,模型会逐渐适应不同的掩码策略,学习不同的语言表征。 文本编码。Byte-P...原创 2019-11-24 16:13:52 · 12682 阅读 · 1 评论 -
NLP比赛模型融合的思路
比赛模型融合思路1.就是先训练第一个模型然后冻结第一个模型然后训练两个模型,这种方法两个模型最好属于两个体系,一个CNN一个RNNtensorflow模型冻结方法2.训练多个模型,然后用模型的预测结果[0.1,0.9]表示第二类,多个模型的相加选取最高的作为结果。等权重融合,也可以根据准确率进行加权融合,也可以在结果上面再加一个GBDT再次进行分类。别人总结思考总结学习...原创 2019-11-22 14:00:46 · 1374 阅读 · 0 评论 -
文本匹配算法总结
文本相似度计算总结孪生神经网络算法思考:1.孪生神经网络算法什么时候进行权重共享?2.是否可以加attention+cnn进行增强。3.孪生神经网络算法可以通过网络计算出句向量,新的句子出来的时候可以直接跟句向量进行计算相似度,提高速度。4.可以使用孪生神经网络算法进行粗排序,然后使用bert模型进行精排序。5.孪生神经网络算法里面的lstm能不能换成BERT?孪生...原创 2019-11-22 11:09:58 · 993 阅读 · 1 评论 -
远程监督的关系抽取方法
关系抽取学习链接BERT进行关系抽取github关系抽取代码讲解原创 2019-11-19 13:37:36 · 729 阅读 · 0 评论 -
深度学习数据集样本不均衡问题
不均衡处理方法原创 2019-11-11 09:46:39 · 881 阅读 · 0 评论 -
albert和bert的不同
1.参数因式分解run_pretrainingbert:def get_masked_lm_output(bert_config, input_tensor, output_weights, positions, label_ids, label_weights): """Get loss and log probs for t...原创 2019-11-05 19:29:34 · 2820 阅读 · 1 评论 -
tensorflow编程思考
1.bilstm的output的len是2,是两个lstm的输出结果,所以fc_w = tf.Variable(tf.truncated_normal([hidden_size*2, num_classes], stddev=0.1), name='fc_w') fc_b = tf.Variable(tf.zeros([num_classes]), name='fc_b')self.log...原创 2019-10-24 16:45:57 · 157 阅读 · 0 评论 -
protege4.3安装使用
protege4.3本体编辑器https://www.cnblogs.com/i-bugs/p/3558147.html转载 2017-11-09 18:06:52 · 1811 阅读 · 0 评论 -
jena推理学习
http://blog.csdn.net/zdlzwk/article/details/48828221实例: 在百度搜索: 梁启超的儿子的老婆 会出现林徽因 梁启超的儿子的老婆的情人 不会出现徐志摩转载 2017-11-09 18:15:01 · 1892 阅读 · 0 评论 -
知识图谱知识推理
http://www.cnblogs.com/jtianwen2014/p/7000190.html开源工具http://blog.csdn.net/javafreely/article/details/8432522转载 2017-11-03 17:56:36 · 5267 阅读 · 0 评论 -
知识图谱三元组抽取
http://blog.csdn.net/u013412066/article/details/68065518转载 2017-11-03 17:54:06 · 24687 阅读 · 5 评论 -
Python实现trie进行机械分词
# -*- coding: utf-8 -*-class node(object): """ 创建trie树节点,包含私有变量,isEnd表示是否是词的末尾节点 name表示存储的值 son__nodes表示子节点 """ #Python中没有private,用两个下划线表示私有变量。 def __init__(self,isend,name)原创 2017-11-29 15:16:42 · 772 阅读 · 0 评论 -
自然语言处理之HMM
使用HMM进行分词 根据语料计算参数。我是中国人。S S B M E S训练过程: 先计算开始概率,开始词是我标注是S的概率为100%,我是B,M,E的概率为0,并且开头是S的概率是100%,开头是B,M,E的概率为0,然后计算”是”是S的概率为100%。“是”是B,M,S的概率为0,计算前面是S,后面是S的概率是100%。根据上面的计算“是”是s,b,m,e的概率是多少。 预...原创 2017-12-23 15:39:43 · 632 阅读 · 0 评论 -
新词发现算法研究
使用MMseg进行分词的时候,需要大量的词库最为支撑,因此一个新词发现算法变得尤为重要。 新词发现算法理论基础http://www.matrix67.com/blog/archives/5044在实际运用中你会发现,文本片段的凝固程度和自由程度,两种判断标准缺一不可。只看凝固程度的话,程序会找出“巧克”、“俄罗”、“颜六色”、“柴可夫”等实际上是“半个词”的片段;只看自由程度的话,程转载 2017-11-02 14:42:35 · 3083 阅读 · 0 评论 -
句法分析语言学理解
句法分析分依存句法分析和语义依存分析 句法分析学习网址 主谓关系: 主谓即主语发出谓语这个动作 动宾关系: 谓语所表示的动作被其后的宾语所承受 直接宾语: 直接宾语表示动作的承受者,一般是物 间接宾语: 间接宾语表示动作是对谁或为谁做的,一般是人 前置宾语: 宾语在谓语的前面 兼语: 谓语部分是连用的动词(有的后一个是形容词),不属于同一个主语,前一个谓语的宾语同时又原创 2018-01-25 16:14:48 · 2670 阅读 · 0 评论 -
数据,信息,知识区分
大数据情况下,数据和信息以及知识概念,需要我们认真思考。数据是没有意义的东西。例如:85kg,没有告诉是表示体重之前都只是一个数据。体重:85kg,这是信息,告诉我们85kg是表示的体重。知识是我们知道这个人160cm,85kg是超重。...原创 2018-02-28 15:54:19 · 2633 阅读 · 0 评论 -
知识图谱与问答系统
基于电影的知识图谱构建以及问答系统的设计学习网站转载 2018-03-01 13:38:57 · 1147 阅读 · 2 评论 -
TextCNN文本分类算法总结
文本分类算法总结学习链接tensorflow版TextCNN代码解析学习链接TextCNN开源项目地址地址链接在词向量的基础上添加知识向量可以提高分类的准确度,知识向量是one-hot向量。 singer song 刘德华 1 0 忘情水 0 1...原创 2018-03-01 17:20:31 · 1701 阅读 · 0 评论 -
pynlpir进行分词
中科院分词系统学习http://blog.csdn.net/hongliryan/article/details/54577670点击运行会出现下面的错误。Not valid license or your license expired! Please feel free to contact pipy_zhang@msn.com! 错误原因是分词系统授权过期打开NLPIR官网,下载最新版分词器...转载 2018-03-12 13:50:41 · 1363 阅读 · 0 评论 -
lucene学习
lucene全文检索整体架构了解如下:lucene介绍IK分词介绍IK分词详细介绍lucene的思考:1.使用分词对文本进行分词(去除停用词,细粒度分词找到尽可能多的词语)。2.对词库按照文档的id建立索引。3.对新的搜索记性分词,并且找到索引。...转载 2018-03-22 13:40:36 · 128 阅读 · 0 评论 -
rake算法学习
关键词提取算法有TF-IDF,主题模型和RAKE算法,RAKE算法在短文本关键字提取方面有不错的效果。RAKE算法学习转载 2018-03-06 14:36:28 · 2990 阅读 · 0 评论 -
glove算法工具使用
glove是斯坦福设计的一个新的词向量算法,结合了词频和词嵌入词向量计算的优点,是一项比较伟大的发明。算法理论学习Stanford提供了一个基础c语言的工具(只能在Linux和mac上面运行),工具地址如下:工具下载地址$ git clone http://github.com/stanfordnlp/glove$ cd glove && make$ ./demo.sh如果没有...原创 2018-03-23 14:08:43 · 3338 阅读 · 0 评论