![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
攀攀的跟屁虫
博客多为网上摘录,偶有原创。
展开
-
transformer杂记
transformer代码结构图.这个图其实就是把网上常见的transformer图画得更详细了,参考的是transformer的代码.这么细致的图并不方便于记忆,但是日后回顾细节时不必再看代码.总结有如下几个点:encoder的输入和bert的输入相同的是都有token_emb和pos_emb,但transformer没有token_type_id(也叫segment_id).另外transformer中采用的三角函数式位置编码,bert是训练得到的位置编码.位置编码的重要性低于token_emb原创 2021-07-28 11:14:19 · 229 阅读 · 0 评论 -
huggingface datasets load_metric connecterror cannot reach
出现这个错误的原因是连不上网,解决办法很简单:1.翻墙;2.打开提示中的网址,并把该网址对应的py文件下载下来。3.datasets.load_metric('py文件所在目录')就可以了原创 2021-06-02 10:54:27 · 3366 阅读 · 5 评论 -
用kfold提高bert 笔记
下面言论仅针对小一点的数据集,bert非常受随机种子的影响:Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping如果不想受随机种子的影响,那么可以用小一点的学习率,epoch设的大一点(原bert作者建议微调2-4epoch,大一点就是epoch设为10/20这样的)。但是我目前的数据是,跑到3epoch效果最好,如果增加epoch(到20),f1会降很多,倒是确原创 2021-04-26 17:59:00 · 382 阅读 · 0 评论 -
知识图谱入坑
比较大的开放知识图谱:中文百科类:CN-DBPedia,http://shuyantech.com/api/cndbpedia/ment2ent?q=词语 ZhiShi.me ownthink,https://github.com/ownthink/KnowledgeGraphData 非常大,8G多,用csv存的知识图谱的核心作用:确定了实体。有益于多个方面:分词会更准确,本体更加明确(消除了语言多样性带来的干扰) 找出实体间的关系。这种对关系的明确定义是非常有意义的,因为在没有知识图原创 2020-09-16 17:19:35 · 549 阅读 · 0 评论 -
fasttext
这是一个结构很简单的网络(见图1),速度非常快,在某些任务上准确率会比rnn\transformer等还要好。有没有谁能告诉我为什么简单但却有效呢?图1fasttext网络处理流程图关键代码也是超级简单sentence_embeddings = tf.nn.embedding_lookup(self.Embedding,self.sentence) #参考的代码中self.Embeddi...原创 2020-04-20 21:06:37 · 161 阅读 · 0 评论 -
tensorflow多线程
本文所有内容均不是原创,仅是看到好的资源,转载到这里,方便自己查找,所有来源都会标注清楚。https://www.cnblogs.com/demian/p/8005407.html如果你打开了这篇博客,推荐去上面链接读原文,原文写的更好。Tf中的队列tensorflow的session对象可以支持多线程,多线程可以方便地使用同一个Session并执行,然而,Python中的并行运算并不...原创 2018-10-17 21:46:11 · 2553 阅读 · 0 评论 -
对话策略相关论文摘要
[1] Peng B, Li X, Gao J, et al. Integrating planning for task-completiondialogue policy learning[J]. 2018.题目:Integrating planning for task-completiondialogue policy learning(在任务导向的对话策略学习中整合规划)作者:Baoli...原创 2018-03-28 11:21:30 · 1060 阅读 · 0 评论 -
Hybrid code networks: practical and efficient end-to-end dialog control阅读笔记
论文题目:Hybrid code networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning作者:来自Microsoft Research的J. D. Williams 时间:2017来源:ACL第55届年度会议本文提出对话系统中的end-to-end训...原创 2018-03-21 21:46:21 · 358 阅读 · 0 评论 -
A Survey on Dialogue Systems: Recent Advances and New Frontiers翻译
A Survey on Dialogue Systems: Recent Advances and New Frontiers摘要业界对对话系统的关注越来越多,近年来,对话系统的改进主要来自于深度学习,深度学习被用于大数据的多个领域,如计算视觉、自然语言处理和推荐系统等。在对话系统领域,深度学习可以使用海量数据来学习特征表示和回复生成策略,而只需要很少的人力。在这篇文章中,我们将从不同的角度概述对...原创 2018-03-19 22:02:05 · 1539 阅读 · 0 评论 -
LSTM和GRU
摘自《基于递归神经网络的文本分类研究》https://www.cnblogs.com/taojake-ML/p/6272605.htmlhttp://www.sohu.com/a/197204613_115128递归神经网络RNN。可以对序列数据进行很好的建模,能够充分地利用序列信息。由于RNN是依次对文本中的每个单词进行语义合成,因此它可以适应变长的句子,即不要求文本长度的统一,对长文本和短文本...转载 2018-03-05 17:04:44 · 513 阅读 · 0 评论 -
迁移学习
本篇博客参考自以下网址:http://blog.csdn.net/lqfarmer/article/details/73195060迁移学习提出背景: 机器学习假设:在训练和测试模型时,数据服从相同的分布,来源于相同的特征空间,但实际上,这个假设很难成立。因为带标记的训练样本有限,数据分布会随时间、地点等发生变化。知识迁移可以把B领域中的知识迁移到A领域来,提高A领域分类效果,不需要花大...原创 2018-03-16 17:00:55 · 515 阅读 · 0 评论 -
beam search
首先,解释beam search参考来自:http://blog.csdn.net/amds123/article/details/731883531.简介Beam Search(集束搜索)是一种启发式图搜索算法,通常用在图的解空间比较大的情况下,为了减少搜索所占用的空间和时间,在每一步深度扩展的时候,剪掉一些质量比较差的结点,保留下一些质量较高的结点。这样减少了空间消耗,并提高了时间效率,但缺点...原创 2018-03-16 10:18:46 · 403 阅读 · 0 评论 -
gensim入门
原英文:https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/gensim%20Quick%20Start.ipynb作者小白,一边学一边翻译,拿出来跟大家分享,欢迎拍砖。简介:gensim是挖掘文档语义结构的工具,通过语料库(文档集),生成表示文本的向量。语料库:语料库是数字文档的集合,是g翻译 2017-09-12 08:36:36 · 509 阅读 · 0 评论 -
python文本分类之路
工具:spacy:官网https://spacy.io/分词,词性标注,句法分析,命名实体识别,可以下载glove训练好的词向量数据(多好的工具啊,赶明儿一定装好,尝尝鲜)nltk:学术性更强,稳定原创 2017-09-19 17:07:19 · 2457 阅读 · 0 评论 -
nltk入门
参考:http://www.nltk.org/分句:sent_tokenizer = nltk.data.load('tokenizer/punkt/english.pickle')sentences = sent_tokenizer.tokenize(artcle)分词:tokens = nltk.word_tokenize(sentence)另一种分词的方法:from转载 2017-09-13 08:33:33 · 332 阅读 · 0 评论