深度学习
wang2008start
这个作者很懒,什么都没留下…
展开
-
EMNLP2021 generation相关论文
Contrastive Domain Adaptation for Question Answering using Limited Text Corpora $Q^2$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering A Large-Scale Dataset for Empathetic Response Generation原创 2021-12-31 15:47:40 · 396 阅读 · 0 评论 -
Semantic Parsing_biji
语义解析:将自然语言句子转换成计算机可识别的、可计算的、完全的语义表示,如lambda-表达式、SQL、语义图等基于深度学习的语义解析方法seq2seq,seq2tree,seq2act优缺点:seq2seq仅把语义表示扁平序列化,忽略了层次结构信息。seq2tree 生成层次结构化的语义表示。attention学习词语到词语语义表示之间的软对齐。seq2action 用语义图表示语义,用动作序列编码语义图的构建目标语言是形式化语言,这里的 decoder 使用严格的约束条件。基于预训练原创 2021-12-29 21:46:44 · 403 阅读 · 0 评论 -
Emotion-cause span extraction_biji
emotion cause identification 片段抽取,将造成某种情感的原因抽取出来,片段抽取采用的阅读理解的方式,找到 span 的 start 和 end 位置。模型先经过Transformer,再经过基于上下文的注意力,基于情感的注意力和基于位置的学习,最后经过全链接,loss 为 span_start + span_end + token_softmax_probability...原创 2021-12-19 18:27:14 · 301 阅读 · 0 评论 -
Retrieval Question Answering paper
这里写自定义目录标题多文档摘要检索辅助生成REALM: Retrieval-Augmented Language Model Pre-TrainingRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(RAG)检索器DPR[1]生成器 BART跨数据格式的问答系统Ref多文档摘要Hierarchical Transformers for Multi-Document Summarization段落排序-> 取top段原创 2021-04-30 19:12:27 · 315 阅读 · 1 评论 -
知识图谱与语言预训练_biji
知识图谱和Bert结合学习使预训练更加有文化ERNIE: Enhanced Language Representation with Informative Entities GPT2和知识图谱结合,生成新的节点和边COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...原创 2020-12-19 17:47:27 · 456 阅读 · 1 评论 -
人工神经网络_biji
除去常见的BP反馈传播算法,CNN、LSTM、GRU等网络,记录和学习一些不常见的知识点Hebb 学习规则Perceptron 学习规则winner take-all 学习规则 竞争学习神经网络SOM 自组织特征映射神经网络Hopfield神经网络随机神经网络Boltzmann机是由随机神经元组成的二值随机机器,随机神经元以概率方式取两个可能状态之一。Boltzmann机的随机神经元分成两部分,可见部分和隐藏部分。Boltzmann机学习的主要目的是产生一个神经网络,根据Boltzmann分原创 2020-11-21 20:42:25 · 157 阅读 · 0 评论 -
多模态知识图谱
大致方向多模态知识图谱 MMKG: Multi-Modal Knowledge Graphs 链接多模态知识图谱用于实体消岐 Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts 链接多模态知识图谱用于推荐系统 Multi-modal Knowledge Graphs for Recommender Systems 2020CIKM 链接主要方法各模态单独进行训练后将结果进行融合缺点:源头原创 2020-11-20 13:50:24 · 4939 阅读 · 0 评论 -
知识图谱与推荐系统_paper_biji
知识图谱在推荐系统中的应用,包括将协同过滤和知识embedding结合、知识包括文字知识/图片知识/结构知识等。将新闻推荐系统中的知识抽取,经过cnn计算和attention机制后用来进行推荐。原创 2020-11-20 13:41:01 · 171 阅读 · 0 评论 -
知识图谱与深度学习_biji
深度学习是分布式表示,知识图谱是符号表示利用已有知识图谱自动标注大规模数据的思想叫远程监督知识图谱表示学习:基于复杂关系建模TransR、CTransR基于关系路径建模PTransE基于属性关系建模融合实体描述融合层次类型信息 (实体在不同类型时有不同的知识表示,对各个实体的投影矩阵不同,投影矩阵的构建受到实体层次类型指导)知识的自动获取:基于选择性注意力机制基于关系层次注意力机制(层次注意力机制在关系层次上逐层为包含同一实体对的实例进行权重计算)基于注意力的多语言关系抽取(使用原创 2020-10-31 20:17:51 · 903 阅读 · 2 评论 -
Paper_list
推荐相关CF(Collaborative Filtering)Item-Based Collaborative Filtering Recommendation Algorithms , paper链接 , paper-bijiCollaborative Metric Learning , paper链接 , paper-bijiItem2Vec: Neural Item Embedding for Collaborative Filtering , paper链接 , paper-biji少数原创 2020-09-25 20:57:25 · 258 阅读 · 0 评论 -
Behavior Sequence Transformer for E-commerce Recommendation in Alibaba——biji
原创 2020-05-20 23:20:30 · 249 阅读 · 0 评论 -
DIEN——biji
是 DIN 的升级版,共分为三层,用户行为层,用户兴趣抽取层,用户兴趣演化层.用户行为层用户兴趣抽取层为了将用户兴趣学习的更加充分,加入了额外 loss,h(t)和e(t+1),e(t+1)`,构建正负样本,类似于多目标的学习。用户兴趣演化层为了学习用户和候选item的关系,加入了 attention 机制,Attention + GRU的实现这里给了三种方法:GRU with attentional input(AIGRU):将抽取层的 h_t 与 weight 相乘直接作为 演化层 G.原创 2020-05-20 23:00:39 · 331 阅读 · 0 评论 -
oxford-deepNLP_biji
L2a Word Level Semantics( Word2Vec == PMI matrix factorization of count based models)Count-based methodsNeural Embedding Models: C&WEmbed all words in a sentence with E、Shallow convolution ov...原创 2020-04-05 21:46:38 · 175 阅读 · 0 评论 -
图卷积神经网络_biji
图卷积神经网络 卷积谱域方法ChebyNet 的改进空间域方法GraphSAGE的方法GCN的方法GAT卷积卷积是一种积分,是一种运算,是一种信号处理,结果比原来的信号更加平滑。spectral methods:谱域方法,通过傅立叶变化到谱域,在谱域进行卷积运算,在通过傅立叶变换的逆回到空间域。spatial methods:空间域方法,在空间上直接使用卷积,遇到的问题是每个节点的邻居区...原创 2020-04-05 20:34:12 · 506 阅读 · 0 评论 -
智能问答主要技术整理
基于RNN的Seq2seq BiMPM(bilateral multi-perspective matching) Neural Generative Question Answering QANet ICLR 2018 Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in S...原创 2020-03-31 21:38:58 · 345 阅读 · 0 评论 -
SeqGAN_biji
GAN做生成存在的问题GAN 不适用于离散数值,梯度不能回传到生成模型的问题解决方法:将生成器看作是强化学习中的 stochastic policy,SeqGAN 可以直接通过 gradient policy update 避免生成器中的可导问题。只能对整个sequence打分,如果生成器生成序列的同时判别器来判断,如何平衡当前序列的分数和未来序列的分数又是一个难题解决方法:判别器...原创 2019-11-13 16:29:25 · 153 阅读 · 0 评论 -
Heterogeneous Graph Neural Networks for Malicious Account Detection_biji
实现方案,一周前六天是训练数据,第七天为测试数据。用的是GCN的思想,图里有账号和设备,(基于规则的主要是用类似于图的二度好友计算,用账号和设备两种节点,计算得到账号和账号的关系),用有标注的数据的好处是可以用AUC、F1评测模型效果。...原创 2019-10-15 11:21:19 · 553 阅读 · 0 评论 -
Variation Autoencoder Based Network Representation Learning for Classification——paper 笔记
传统的方法是矩阵降维和矩阵分解作为表示,但是不适用于大型网络。借鉴 nlp 中的处理思路,先 随机游走,处理成节点序列,再使用节点在上下文中的表示。缺点:无法使用节点自身的信息。本文提出一种直观的方法是分别单独学习文本表示和网络结构,然后把两种独立的表示合并在一起。将网络的邻接矩阵和训练好的内容表示作为输入,经过 VAE 得到 embedding 表示。联合训练模型中的VAE的...原创 2018-11-23 13:26:20 · 484 阅读 · 0 评论 -
Self-Attention Mechanism
在计算 Attention 时主要分为三步,第一步是将 query 和每个 key 进行相似度计算得到权重,常用的相似度函数有点积,拼接,感知机等;然后第二步一般是使用一个 softmax 函数对这些权重进行归一化;最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。目前在 NLP 研究中,key 和 value 常常都是同一个,即 key=value。...转载 2018-12-02 12:13:37 · 635 阅读 · 0 评论 -
Attention is all your need——paper 笔记
去掉了 RNN 和 CNN ,直接用 encoder 和 decoder 的层与层之间直接使用 attention 机制,优点在于不需要 long-dependency 句子中的单词 dependency 长度最多只有1,减少了信息传输路径。 这种方式直接可以挖掘句子内部单词与单词的语义组合关系,将其作为一个语义整体,使得翻译时更好地利用单词组合甚至是短语的信息,更好地 decode ...原创 2018-08-16 12:16:54 · 424 阅读 · 0 评论 -
LINE-biji
LINE: Large-scale Information Network Embedding比较早的一篇针对 Graph 数据结构进行 Embedding 表示学习的方法,主要对边进行建模,由于两个节点间的直接相连关系表达的信息有限,这里增加了二阶关系(二度关系)作为补充,将节点的关系从一阶增加到了二阶。Loss 是建立在概率分布和经验分布的 KL 距离上的。存在的问题,实际用户关系中,一阶...原创 2019-08-30 16:32:15 · 108 阅读 · 0 评论 -
Deep Neural Networks for Learning Graph Representations——paper 笔记
和基于 SVD 的降维(将原始的高维空间通过线性变换隐射到低维空间上)不同,深度神经网络,比如 stacked auto-encoders 学习到的映射都是高度非线性的。论文开头,通过介绍 Deepwalk,说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法:1,负采样的skip-gram和基于PPMI矩阵的矩阵分解。矩阵分解,利用词和词的共现矩阵来产生词向量表示,主要缺...原创 2018-07-31 15:52:29 · 2357 阅读 · 1 评论 -
从PCA到AutoEncoder
PCA理论简单,计算只涉及到线性代数的计算,特征保持正交性,如果原始特征不具有正交性,只有独立性,这个时候可以使用ICA。Kernel PCA在低维空间无法区分的特征,先通过Kernel函数从低维空间映射到高维空间,在通过PCA进行降维。...原创 2019-02-23 19:02:09 · 1597 阅读 · 0 评论 -
word2vec_biji
语言模型:在NLP中,把 x 看作一个句子里的一个词语,y 是这个词语的上下文词语,那么f就是语言模型,模型的目的,是判断(x,y)这个样本,是否符合自然语言的法则,即词语x和词语y放在一起,是不是人话。统计语言模型(statistical language model)是建立在一段序列(比如一句话)上联合概率分布。skip-gram 模型是尝试用w_t预测context(w),具体是最大化“均...原创 2019-04-30 18:16:01 · 167 阅读 · 0 评论 -
DNN for 推荐_biji
MLRDeep Neural Networks for YouTube Recommendations其实熟悉Skip-Gram方法的同学很容易看出来,2.1把推荐问题定义为“超大规模多分类”问题的数学公式和word2vec的Skip-Gram方法的公式基本相同,所不同的是user_vec是通过DNN学习到的,而引入DNN的好处则是任意的连续特征和离散特征可以很容易添加到模型当中。同样的,...原创 2019-07-08 17:59:57 · 569 阅读 · 0 评论 -
行列式点过程推荐多样性算法
推荐多样性的衡量指标是单个推荐列表中物品之间的差异程度,通过计算在同一个推荐 list 中两两 Item 之间的相似度的平均值来进行衡量。DPP(Determinantal Point Process)行列式点过程,是一种性能较高的概率模型。将复杂的概率计算转换成简单的行列式计算,通过核矩阵的行列式计算每一个自己的概率。...原创 2019-07-05 14:34:25 · 1851 阅读 · 0 评论 -
多目标学习_biji
Ref深度神经网络中的多任务学习汇总原创 2019-07-05 16:18:37 · 1187 阅读 · 0 评论 -
Memory Netwok_biji
传统的深度学习模型(RNN、LSTM、GRU等)使用hidden states或者Attention机制作为他们的记忆功能,但是这种方法产生的记忆太小了,无法精确记录一段话中所表达的全部内容,也就是在将输入编码成dense vectors的时候丢失了很多信息。所以本文就提出了一种可读写的外部记忆模块,并将其和inference组件联合训练...原创 2019-06-30 23:57:06 · 161 阅读 · 0 评论 -
GCN(Graph Convolutional Network)——总结
Graph Convolutional Network对于图结构,不采用将图结构转换成线性结构表示。直接对图结构进行表示。CNN处理的图像或者视频数据中像素点(pixel)是排列成很整齐的矩阵(Euclidean Structure)。网络结构(Non Euclidean Structure)就是图论中抽象意义上的拓扑图。GCN 主要技术:拉普拉斯矩阵拉普拉斯矩阵谱分解GCN 的逻辑:...原创 2019-07-23 23:09:23 · 2086 阅读 · 0 评论 -
GraphSAGE_biji
Graph SAGE:工业应用,是目前所有工业上图模型的雏形。归纳式学习,可以泛化到没有未参与训练的节点上。卷积部分可以有很多种,比如平均,pooling,lstm聚合,以及GCN聚合等。GraphSAGE(Graph SAmple and aggreGatE)框架,工业应用,附带python 开源实现。归纳式学习,可以泛化到没有未参与训练的节点上。卷积部分可以有很多种,比如平均,pooling...原创 2019-09-08 23:31:49 · 544 阅读 · 0 评论 -
#自动写剧本#深度网络结构
初始化网络 def get_init_cell(batch_size, rnn_size): lstm = tf.contrib.rnn.BasicLSTMCell(rnn_size) cell = tf.contrib.rnn.MultiRNNCell([lstm] * 5) initial_state = cell.zero_state原创 2017-07-31 15:54:16 · 1295 阅读 · 0 评论 -
Structural Deep Network Embedding——paper 笔记
简述论文思想:利用节点之间的关系 拉普拉斯矩阵 学习局部结构信息 ,描述图的一阶相似性;利用 AutoEncoder encoder和decoder的输入输出的差异学习图的整体结构信息,描述图的二阶相似性。...原创 2018-07-31 15:52:05 · 716 阅读 · 0 评论 -
CANE: Context-Aware Network Embedding for Relation Modeling——paper 笔记
清华的论文,思想:除了考虑structure因素,还考虑context因素,以及s和c的相互作用,同时引入了attention机制。Context-free Embedding: 向量表示固定,不会随上下文信息的变化而改变。Context-aware Embedding: 向量表示不固定,会随上下文信息的变化而变化。比如,对于一条边,CANE可以学习到V_u 和 U_v。 ...原创 2018-07-27 00:53:46 · 641 阅读 · 0 评论 -
Fast Network Embedding Enhancement via High Order Proximity Approximation——paper 笔记
这篇文章将网络表示学习抽象成一个通用框架,将已有的解决文章解决方法嵌套在这个框架上,以表明框架理论适用性,另外,更高阶的关系矩阵的构建,可以提升网络表示的效果,最后提出了怎样迭代高效的更新网络表示。邻接矩阵和 Laplacian 矩阵都刻画的是一阶信息,对本地节点间的关系建模。通过随机游走,通过 k 步从 i 节点到达 j 节点,我们可以构造 K 阶信息。得到K阶转移概率矩阵。NRL的两步...原创 2018-07-27 00:34:32 · 707 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-1(Neural Networks Basics)
Andrew-coursera deeplearningNeural Networks and Deep LearningIntroduction to deep learningWhat is a neural networkSupervised Learning with Neural NetworksWhy is Deep Learning taking off?原创 2017-10-05 18:06:38 · 228 阅读 · 0 评论 -
生成对抗网络GAN损失函数Loss的计算
损失函数的计算辨别器对假数据的损失原理相同,最终达到的目标是对于所有的真实图片,输出为1;对于所有的假图片,输出为0。 生成器的目标是愚弄辨别器蒙混过关,需要达到的目标是对于生成的图片,输出为1.`d_loss_real = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits(logits=d_log原创 2017-07-31 15:24:07 · 33409 阅读 · 4 评论 -
tensorflow模型save和restore
把tensorflow每个阶段训练的模型进行保存,供后面预测或者进一步训练时使用。保存的时候使用saver.save()方法,恢复的时候使用saver.restore方法。详细如下:初始信息flags.DEFINE_integer('epochs', 100, '') #FLAGS.epochsflags.DEFINE_integer('display_steps', 10, 'Number of原创 2017-09-28 16:26:09 · 877 阅读 · 0 评论 -
caffe图像可视化(一)——featuremap可视化
caffe在进行图像训练时,对特征或中间结果进行可视化,可以帮助更好的对训练过程和图像的理解。 caffe中的可视化,最简单的一种是,直接把featruemap或者中间result用图像表示出来,如下,先定义一个图像表示函数,对于数组维数不足的,padding补足。def vis_square(data, padsize=1, padval=0): data -= data.min()原创 2017-09-22 15:32:58 · 2899 阅读 · 0 评论 -
caffe图像可视化(二)——反卷积可视化
caffe在进行图像训练时,对特征或中间结果进行可视化,可以帮助更好的对训练过程和图像的理解。 caffe中的可视化,另一种是把网络中间的某层,做卷积的相反动作,用于把某层还原成原来的图像。卷积和反卷积时,使用的参数是共享的,都是卷积时学习到的参数。如下:#加载网络和逆向网络net = caffe.Net('deploy.prototxt', 'model.caf原创 2017-09-22 16:09:43 · 2072 阅读 · 4 评论 -
nvidia-smi GPU驱动安装后使用率很高
新安装了nvidia tesla M40的驱动,完全按照官网文章安装,安装完成后使用nvidia-smi,发现gpu使用率很高,网上找了资料,重启后也不行,还是很高,最后终于找到了解决方法:需要把驱动模式设置为常驻内存才可以,设置命令:nvidia-smi -pm 1设置完后再用nvidia-smi看下,本人实验已正常,happy~~~原创 2017-08-02 17:53:27 · 4182 阅读 · 0 评论