![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Paper研读笔记
人工智能相关的论文,目前主要研究方向NLP
SimonChenHere
PhD Candidate,计算机本,人工智能硕,网络安全博。
展开
-
Textual Description for Visualization
《Automatic Annotation Synchronizing with Textual Description for Visualization》待更。论文翻译见下面链接https://blog.csdn.net/algzjh/article/details/109019170原创 2021-05-31 13:20:55 · 86 阅读 · 0 评论 -
【Twitter】时序图神经网络
图神经网络(GNNs)最近变得越来越受欢迎,因为它们能够学习复杂的关系系统或相互作用,这些关系或作用来源于生物学和粒子物理学到社会网络和推荐系统等广泛问题。尽管在图上进行深度学习的不同模型太多了,但迄今为止,很少有人提出方法来处理呈现某种动态性质的图(例如,随着时间的推移而进化的特征或连通性)。在本文中,我们提出了时序图网络(TGNs),一个通用的,有效的框架,用于深度学习动态图表示为时间事件序列。由于内存模块和基于图的运算符的新组合,TGNs能够显著优于以前的方法,同时在计算效率上也更高。此外,我们还展示原创 2020-10-28 10:59:42 · 2809 阅读 · 0 评论 -
Neural Motifs: Scene Graph Parsing with Global Contex
待续Scene Graph Generation做的是预测物体之间的关系的原创 2020-10-22 08:53:59 · 429 阅读 · 0 评论 -
【共生性】CVPR 2019:Multi-Label Image Recognition with Graph Convolutional Networks
通常来说,一个图片里的不同物体具有共生性,所以建模label dependencies可能提升识别性能。为了捕捉和探索这个重要的dependencies,本文作者提出了基于Graph Convolutional Network (GCN)的多标签分类模型。在object labels上构建一个有向图,each node is represented by word embedding of a label, GCN 将label graph 映射到一组相互依赖的物体分类器,embedding-to-cl原创 2020-10-21 13:47:45 · 538 阅读 · 0 评论 -
Exploring Randomly Wired Neural Networks for Image Recognition
In traditional connnection is the models how computational network wired is crucial to build intelligent machines. In the early days of AI, pioneers including Turing, Minsky, Rosenblatt all have randomly wired machinesHere we show serveral neural networ.原创 2020-10-02 16:52:19 · 147 阅读 · 0 评论 -
【NeurIPS2020】Google点针图网络,Pointer Graph Networks
关键词:图的搜索空间,图结构推测,点针传递图神经网络(GNNs)通常应用于静态图,这些静态图可以认为是预先已知的。这种静态输入结构通常完全由机器学习从业者的洞察力决定,对于GNN正在解决的实际任务可能不是最佳的。在缺乏可靠的领域专家知识的情况下,人们可能求助于推断潜在的图结构,但由于可能的图的搜索空间很大,这往往是困难的。这里我们引入了点针图网络(PGNs),它增加了集合或图的推断边的能力,以提高模型的表达能力。PGNs允许每个节点动态地指向另一个节点,然后通过这些点针传递消息。这种可适应图结构的稀疏性.原创 2020-09-28 08:57:36 · 680 阅读 · 0 评论 -
知识点背诵
tensorflow2.01. batch是啥?为什么要有batch?在现实情况中,由于数据集都非常大,内存没办法一次性的读取进来,所以将其分成一个一个的batch原创 2020-11-08 10:22:19 · 202 阅读 · 0 评论 -
Graph Embedding:word2vec更进一步?
word2vec和由其衍生出的item2vec是embedding技术的基础性方法,但二者都是建立在“序列”样本(比如句子、推荐列表)的基础上的。而在互联网场景下,数据对象之间更多呈现的是图结构。参考材料,详细解读见链接。深度学习中不得不学的Graph Embedding方法1.经典的Graph Embedding方法——DeepWalk归纳:DeepWalk是根据原始用户的用户行为序列,根据每一个用户的行为序列构建成“物品相关图”,之后采取随机游走的方式随机选择起始点,重新产生物品序列。最后这些转载 2020-09-06 08:51:15 · 335 阅读 · 0 评论 -
[斯坦福]距离编码-更为强大的GNN
论文代码解读参考:https://zhuanlan.zhihu.com/p/213810192原创 2020-09-03 15:00:17 · 744 阅读 · 0 评论 -
图神经网络基准,NTU Chaitanya Joshi
简介近期的大量研究已经让我们看到了图神经网络模型(GNN)的强大潜力,很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小,如 Cora 和 TU。在这种情况下,即使是非图神经网络的性能也是可观的。如果进行进一步的比较,使用中等大小的数据集,图神经网络的优势才能显现出来。在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后,又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日,来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MI转载 2020-09-02 09:17:57 · 217 阅读 · 0 评论 -
AMBERT!超越BERT!多粒度token预训练语言模型
1. 之前的BERT还存在什么问题?归纳:即BERT中的token采取的是细粒度的,这种细粒度无法解决英语中的“多词表达形式(如 ice creaming; New York,这些多词表达分开的意思和真正的意思相去甚远)”2. 作者的解决方案在本文中,我们提出了一个多粒度的BERT模型(AMBERT),它同时使用了细粒度和粗粒度标记。对于英语,AMBERT通过使用两个编码器同时构造输入文本中的单词和短语的表示来扩展BERT。确切地说,AMBERT首先在单词和短语级别上进行标记化。然后,它将单词和短语的原创 2020-09-01 08:27:37 · 1062 阅读 · 0 评论 -
2020 AI、CV、NLP顶会最全时间列表
2020 AI、CV、NLP顶会最全时间列表会议时间已整理为PDF,欢迎关注公众号【计算机视觉联盟】回复关键词【2020 AI】获取PDF下载!2020 AI、CV、NLP顶会时间表,包含会议举办的时间、地点、投稿截止日期、官方网址/社交媒体地址,还有H指数(谷歌学术的期刊会议评判标准,即过去5年内有至多h篇论文被引用了至少h次)。2月AAAI 2020会议名称: Association for the Advancement of Artificial Intelligence会议地点:转载 2020-08-29 21:32:48 · 2542 阅读 · 0 评论 -
Chinese NER Using Lattice LSTM
该模型的核心思想是:通过 Lattice LSTM 表示句子中的单词,将潜在的词汇信息融合到基于字符的 LSTM-CRF中。实际上,该模型的主干部分依然是基于字符的LSTM-CRF,只不过这个LSTM每个Cell内部的信息处理方式与基本的LSTM不同。目前英文NER效果最佳的模型是 LSTM-CRF,对于中文 NER,也可以使用这种模型。不过,中文文本不同于英文文本,需要预先对其进行分词(基于字的方法),尽管分词工具有很多(中科院 ICTCLAS、哈工大语言云、Python的 jieba 和 Snow.原创 2020-07-13 19:33:13 · 328 阅读 · 0 评论 -
GNN4NLP-Papers
GNN4NLP-PapersA list of recent papers about GNN methods applied in NLP areas.TaxonomyFundamental NLP TasksIncorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks. Shikhar Vashishth, Manik Bhandari, Prate转载 2020-07-13 11:08:39 · 1285 阅读 · 0 评论 -
消融实验
“消融研究”这一术语的根源于20世纪60年代和70年代的实验心理学领域,其中动物的大脑部分被移除以研究其对其行为的影响。在机器学习,特别是复杂的深度神经网络的背景下,已经采用“消融研究”来描述去除网络的某些部分的过程,以便更好地理解网络的行为。举例:举个例子:Girshick及其同事描述了一个由三个“模块”组成的物体检测系统:第一个使用选择性搜索算法提出图像区域,在该区域内搜索物体。进入一个大的卷积神经网络(有5个卷积层和2个完全连接的层),进行特征提取,然后进入一组支持向量机进行分类。为了更好.原创 2020-07-12 21:58:30 · 2182 阅读 · 0 评论 -
2020.07.08_Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering
论文简述:BERT模型已成功地应用于开放域QA任务。然而,以往的工作是通过观察与独立训练实例相同的问题对应的段落来训练BERT,这可能会导致不同段落的答案得分存在不可比性。为了解决这个问题,本文提出了一个多通道的BERT模型来对同一问题的所有段落的答案得分进行全局标准化,这种变化使得我们的QA模型能够通过使用更多的段落找到更好的答案。此外,我们还发现,通过滑动窗口将文章拆分成100字的段落,可以将性能提高4%。通过利用一个通道ranker来选择高质量的通道,多通道BERT获得额外的2%提高。...原创 2020-07-08 13:41:54 · 794 阅读 · 0 评论 -
吴恩达教你如何读论文:绘制进度表格,论文至少看三遍,还要问自己问题
吴恩达教你如何读论文,高效了解新领域。就算是博士,也很难对所有的关键技术都参透了解。那么如何有效了解一个新领域,是研究者们必备的一项技能。系统阅读论文集第一步收集资源,并整合起来。论文、博客文章、GitHub资源库、视频……在谷歌上搜索「姿态估计」这个词,得到所有关于这个关键词的资源都要整理下来。这一阶段,资源数量是没有限制的。只要是你认为重要的资料都可以整理,但要注意,一定要创建一个有用的论文、视频和文章的短名单。将你认为的与主题相关的任何资源进行深入研究。这时候,你可以绘制一张转载 2020-07-06 08:41:50 · 260 阅读 · 0 评论 -
论文schedule
ICLR2020Pre-training Text Encoders as Discriminators Rather Than Generators.https://github.com/Drchen-AI/electrahttps://openreview.net/pdf?id=r1xMH1BtvB近日,谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow之上的开源模型发布。该方法用到了一种称为替换令牌检测(RTD)的新预训练任务,使其能够在从所有输入位置学习的同时原创 2020-07-11 11:35:45 · 302 阅读 · 0 评论 -
ChineseNER Using LatticeLSTM笔记
https://zhuanlan.zhihu.com/p/42414521原创 2020-05-25 22:20:14 · 192 阅读 · 0 评论 -
albert_test
import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'import tensorflow_hub as hubimport tensorflow as tfimport tokenizationalbert_module = hub.Module("https://tfhub.dev/google/albert_base/2", trainable=True)print(albert_mod原创 2020-05-23 15:12:13 · 263 阅读 · 0 评论 -
解决bert在文本长度的问题的方案,篇章级
一种解决bert长文本匹配的方法 https://arxiv.org/abs/1903.10972bert提出来后打开了迁移学习的大门,首先通过无监督的语料训练通用的语言模型,然后基于自己的语料微调(finetune)模型来达到不同的业务需求。我们知道bert可以支持的最大token长度为512,如果最大长度超过512,该怎么样处理呢?下面这边论文提供一种简单有效的解决思路。bert大招很好用,但是其最大长度为512以及其性能这两个缺点给我们的线上部署提出了挑战。我们在做document级别的召回的时.原创 2020-05-11 20:27:02 · 6719 阅读 · 0 评论 -
按主题分类的自然语言处理文献大列表
https://github.com/changwookjun/nlp-paper转载 2020-05-07 15:13:55 · 6543 阅读 · 1 评论 -
论文阅读之ALBERT
论文:ALBERT: A Lite BERT for Self-supervised Learning of Language Representations原创 2020-05-01 14:37:51 · 284 阅读 · 0 评论 -
BERT论文的解读 PPT
此文是我在实验室例会上汇报的关于BERT的PPT,供诸君参考。代码在我的GitHub上:https://github.com/idiotprofessorchen/BERT数据集是MRPC...原创 2020-04-26 17:17:11 · 7888 阅读 · 3 评论 -
周志华教授:如何做研究与写论文?
本文整理了著名人工智能学者周志华教授《做研究与写论文》的PPT(时间比较早,但方法永远不会过时)。其详细介绍了关于为什么要做研究?如何做研究,选择研究方向、选择研究课题(Topic),学习领域知识、选期刊投稿、稿件处理过程、写高水平论文的方法与技巧等方面的知识,是一份非常优秀的做研究和写论文指南,值得每个人细读!周志华个人简介他于2001年1月留校任教,2002年破格晋升副教授,2003年...转载 2020-04-24 23:20:55 · 286 阅读 · 0 评论