![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
paper 阅读笔记
文章平均质量分 57
读的论文总结笔记
白又白胖又胖
爱生活,要积极努力啊~!
展开
-
关系抽取-算法思维导图
原创 2020-12-21 16:51:47 · 299 阅读 · 0 评论 -
信息瓶颈理论-笔记
什么是信息瓶颈理论信息瓶颈(英语:information bottleneck)理论是信源压缩的率失真理论的一种拓展。通俗讲:由于没有先验知识,于是只好都记住,但是可以消除数据本身的冗余(如huffman编码)。这个是最传统的数据压缩,如果允许压缩时失真,对应的是率失真理论:给定失真下可获得的最低压缩码率,即在失真和压缩码率之间权衡。如果有先验知识,比如数据是带标签的,那消除数据本身的...原创 2020-04-19 15:33:38 · 5471 阅读 · 2 评论 -
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT,在一开始并未直接对语言信息和图片信息进行融合,而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设,...原创 2020-04-10 12:15:39 · 4472 阅读 · 0 评论 -
A Survey on Contextual Embedding 论文笔记
论文地址:https://arxiv.org/abs/2003.07278基于上下文词Embedding 的论文,目前在arxiv 上2020新的paper上下文嵌入,如ELMo和BERT,超越了Word2Vec这样的全局词表示,在自然语言处理任务中取得了突破性的性能。上下文编码根据上下文为每个单词分配一个表示,从而捕获不同上下文中单词的使用情况以及跨语言传输的编码知识。在这项调查中,我们...原创 2020-04-10 10:49:15 · 520 阅读 · 0 评论 -
Bi-Directional Attention Flow for Machine Comprehension 代码+论文
ICLR2017 双向attention 机制的QA模型Code论文的工作:对上下文(Content)和查询(Query)之间的交互建模。BlDAF,是一个多阶段的层次化模型,在不同的粒度级别上表示上下文,并使用双向注意流机制获得一个查询aware的上下文表示。 输入:文章和问题pair, 输出答案的Start-End 位置作为预测结果 模型结构图如下1.C...原创 2020-04-06 11:42:28 · 371 阅读 · 1 评论 -
transformer model 学习笔记
1. transformer 架构Transformer改进了RNN最被人诟病的训练慢的缺点,利用self-attention机制实现快速并行。左半部分是 encoder 右半部分是 decoder。Encoder: 由N=6个相同的layers组成, 每一层包含两个sub-layers. 第一个sub-layer 就是多头注意力层(multi-head attention layer)然...原创 2019-08-29 15:55:34 · 1750 阅读 · 1 评论 -
Graph Neural Networks 图神经网络
图 (Graph)在讨论 GNN 之前,让我们先了解一下什么是图 (Graph)。在计算机科学中,图是由两个部件组成的一种数据结构:顶点 (vertices) 和边 (edges)。一个图 G 可以用它包含的顶点 V 和边 E 的集合来描述。边可以是有向的或无向的,这取决于顶点之间是否存在方向依赖关系图神经网络一种直接在图结构上运行的神经网络。GNN 的一个典型应用是节点分类。本质...原创 2019-08-20 22:41:16 · 315 阅读 · 0 评论 -
Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model-论文阅读笔记
文章ACL2019 - Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence ModelCodehttps://github.com/lancopku/Graph-to-seq-comment-generationData论文研究内容根据新闻title和文章自动评论Comments...原创 2019-08-20 17:01:50 · 911 阅读 · 0 评论 -
历史最全GAN网络及其各种变体整理(附论文及代码实现)
原创: lqfarmer 深度学习与NLP 2018-02-26文章主要整理了GAN网络及其各种变体模型,并给出了模型的论文出处及代码实现,结合最原始的论文和代码实现,可以加深对模型原理的理解。目录GANAuxiliary Classifier GANBidirectional GANB...原创 2019-07-02 14:40:24 · 9187 阅读 · 0 评论 -
小样本学习--笔记整理
0- What is Few-shot Learning?one-shot learning产生的动机大家都比较了解。现在在互联网,我们主要用large-scale方法处理数据,但真实情况下,大部分类别我们没有数据积累,large-scale方法不完全适用。所以我们希望在学习了一定类别的大量数据后,对于新的类别,我们只需要少量的样本就能快速学习。目前考虑的解决方法主要有两个:第一个是人...原创 2019-05-30 09:37:55 · 3630 阅读 · 4 评论 -
Nonnegative Matrix Factorizations for Clustering(矩阵分解聚类)
Nonnegative Matrix Factorizations for Clustering, Haesun Park, Georgia Institute of Technologyhttps://www.youtube.com/watch?v=BnS625hLJNU原创 2017-05-22 21:06:28 · 1193 阅读 · 0 评论 -
Learning Similarity Functions for Topic Detection in Online Reputation Monitoring
一篇将话题探测看做是学习一个相似度方程的论文1.论文通过从标注好的数据中学习一个pairwise tweet 相似度函数2.应用一个聚类算法在相似度函数上,实验表明,1.Twitter内容可以用来改进主题检测过程仅使用内容信号;2.在主题检测聚类过程中,学习相似函数进行有监督学习是一种灵活的方法。方法:2.1Modelin原创 2017-05-18 18:55:11 · 312 阅读 · 0 评论 -
NMF(non-negative matrix factorization)相关论文[1]
部分非负矩阵分解论文的总结原创 2017-05-12 15:29:34 · 1845 阅读 · 0 评论 -
强化学习课程
强化学习课程http://rll.berkeley.edu/deeprlcourse/原创 2017-05-23 19:54:20 · 466 阅读 · 0 评论