![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习与nlp
深度学习过程中的各种问题汇总
wcc8848
一名小忧伤的研究僧。
展开
-
图神经网络笔记总结
本文的所有图表均来自于图神经网络:GNN首先我们要知道图结构的数据...原创 2022-04-29 18:14:08 · 2446 阅读 · 0 评论 -
bert论文笔记
本文所有图表均来自https://arxiv.org/pdf/1810.04805.pdf论文中1。为什么要提出bert模型,相比于其他模型bert模型的 区别和优势在传统的语言模型中,在这里bert主要比较的是GPT和之前的RNN,相较于RNN模型,bert采用的tranformer的encoder可以并行的优势发挥出来,相较于ELMo,bert采用了tranfoermer特征提取器,使得特征提取的更加完善,而相比于GPT,bert提取文本双向的信息。在bert之后,预训练模式出圈了 ,所原创 2022-04-27 18:03:46 · 386 阅读 · 0 评论 -
transformer论文介绍
title :Attention Is All you need1 abstract :说明了transformer不同于CNN 和RNN,transfomer只使用了注意力机制,就完成了seq-seq任务,并且取得不错的效果。2.结论是相比于RNN等传统的循环神经网络网络模型,可以更好的实现并行,并且在翻译质量上更好主要的模型结构是...原创 2022-04-26 17:16:52 · 2112 阅读 · 0 评论 -
pytorch中的contiguous
contigous 在英文中为连续的意思,何为连续,就是语义相同的张量存储在连续的内存空间中,为什么要使用contigous?因为view()操作需要连续的tensortranspose、permute 操作虽然没有修改底层一维数组,但是新建了一份Tensor元信息,并在新的元信息中的 重新指定 stride。torch.view 方法约定了不修改数组本身,只是使用新的形状查看数据。如果我们在 transpose、permute 操作后执行 view,Pytorch 会抛出以下错误。原创 2022-04-24 17:05:29 · 1510 阅读 · 0 评论 -
pytorch,改变元数据而使原本数据不变的方法
'''pytorch中,不改变tensor内容本身,而只是重新定义下标的对应关系的操作另一中解释:这种操作不进行数据拷贝和数据的改变,变的是元数据元数据:用于描述原始数据的数据,譬如,数据的索引,关系,约束等改变元数据的操作有:narrow() pytorch 中的narrow函数起到了筛选一定维度上的数据作用view()expand()tranpose()'''##narrow example'''narrow(input: Tensor, dim: _int, sta.原创 2022-04-24 10:45:40 · 1186 阅读 · 1 评论 -
crf基础
crf全程条件随机场:什么是条件随机场?给定一组输入随机变量的条件下,另一组输出随机变量的条件概率分布条件随机场常用在序列标注任务中,例如,命名实体识别,分词,词性标准,基因测序,降噪和对象检测等任务中。随机场:又称马尔可夫随机场,一个由无向图表示的联合概率分布。无向图模型: 无向图表示没有标注方向的图模型如上图所示,设有联合概率分布,其中Y是一组随机变量,由无向图表示概率分布,在图中,节点表示一个随机变量,;边表示随机变量之间的依赖关系。得到CRF的表达...原创 2022-04-15 21:51:07 · 109 阅读 · 1 评论 -
jieba总结
jieba是最常用的分词工具,现在总结jieba并不常用的其他模式words_a='上海自来水来自海上,所以吃葡萄不吐葡萄皮'seg_a=jieba.cut(words_a,cut_all=True)print("全模式:","/".join(seg_a))seg_b=jieba.cut(words_a)print("精确模式:","/".join(seg_b))seg_c=jieba.cut_for_search(words_a)print("搜索引擎模式","/".join(seg原创 2022-04-08 12:13:20 · 532 阅读 · 0 评论 -
LSTM详解核心
LSTM 解决梯度弥散和消失的核心要素是在求细胞状态的的嘶吼采用了加法(与残差类似),通过这样的情况,避免了BP 的时候连乘导致的梯度消失或者爆炸。LSTM(Long Short Term Memory)出现的目的是解决RNN对于长期依赖可能产生的梯度消失或者梯度爆炸的问题LSTM相较于RNN,出现细胞状态并且是三个输出两个结果,具体如下Ct和Ht两种不同的输出:首先是忘记门忘记门,通过x,和ht-1状态,获得忘记门的系数,以用来更新记忆信息更新门,获得it参数,已经原.原创 2022-04-06 23:55:58 · 1078 阅读 · 1 评论 -
tfidf代码实现
#encoding:utf8import reimport osimport jiebaimport jieba.posseg as psegimport numpy as npclass TFIDFCounter: #构造方法 def __init__(self): #对象属性 self.tfs = {}#每篇文章的每个词的词频{"docid1":{'苹果':tf值, '乔布斯':tf值,.....},"docid2":{'手机':tf值,.原创 2022-02-28 21:59:53 · 2675 阅读 · 2 评论 -
SEED的作用
SEED是为了保证论文代码复现,尽量保证一样的结果且产生的随机数相同我们把种子进行设置如果种子是5,那么说每次运行结果都相同原创 2021-11-10 19:42:49 · 1166 阅读 · 0 评论