自然语言处理领域以及多模态计算机视觉论文整理(持续更新)

零戚

已于 2024-03-12 17:24:28 修改

阅读量391

点赞数 8

文章标签：自然语言处理人工智能

于 2024-01-22 15:34:16 首次发布

本文链接：https://blog.csdn.net/qq_45689158/article/details/135749622

版权

一、所有看过的论文

序号	标题+年份	作者	标签	github代码链接	内容简述	原文链接	状态
1	Attention Is All You Need（2017年）	Ashish Vaswani∗，Noam Shazeer∗	模型,transformer,自然语言处理	https://github.com/tensorflow/tensor2tensor	主要讲了transformer的内容	[1706.03762] Attention Is All You Need (arxiv.org)	读完
2	A Comprehensive Survey on Graph Neural Networks（2019年）	Zonghan wu,Shirui Pan	图神经网络,综述论文		对图神经网络进行了分类，提出了4个未来的研究方向	[1901.00596] A Comprehensive Survey on Graph Neural Networks (arxiv.org)	读完
3	基于强化学习的知识图谱综述（2021-2022年）	马昂、于艳华等	强化学习、知识图谱		知识图谱和强化学习的综述	基于强化学习的知识图谱综述 (cqvip.com)	读完
4	知识图谱可解释推理研究综述	官赛萍 , 靳小龙 , 贾岩涛	知识图谱、知识推理		介绍近年来面向知识图谱知识推理方法的最新研究进展	Microsoft Word - 5551新_官赛萍,29页_.doc (jos.org.cn)	读完
5	知识图谱构建技术综述（2022）	张吉祥、张祥森、武长旭	知识图谱构建		梳理知识抽取、知识融合、知识推理3类知识图谱构建技术的发展历程	知识图谱构建技术综述 (ecice06.com)	读完
6	知识图谱事理推理	王军平 , 张文生 , 王勇飞, 孙正雅	图谱构建与推断分析		工业大数据知识图谱事理认知人机行为演化分析	https://dds.sciengine.com/cfs/files/pdfs/1674-7267/B9A90253CE6E47AD8A72B41BB1DFBFB5-mark.pdf	读完
7	Convolutional Neural Networks for Sentence Classification	Yoon Kim	CNN、文本分类		使用CNN在文本分类任务(要复现)	[1408.5882] Convolutional Neural Networks for Sentence Classification (arxiv.org)	读完
8	Deep Learning Based Text Classification:A comprehensive Review	Shervin Minaee,Nal Kalchbrenner	对于文本分类的一个综述		文本分类的综述	Deep Learning–based Text Classification: A Comprehensive Review: ACM Computing Surveys: Vol 54, No 3	读完
9	人工智能大模型综述及展望（2023）	罗锦钊，孙玉龙等	大模型		大模型综述	人工智能大模型综述及展望 - 中国知网 (cnki.net)	读完
10	A Survey on Natural Language Processing for Programming（2023）	Zhu, Qingfu, Luo, Xianzhen	综述，自然语言处理		自然语言处理综述	https://arxiv.org/abs/2212.05773	读完
11	A Survey on Deep Learning for Named Entity Recognition（2020）	Jing Li, Aixin Sun, Jianglei Han等	综述，实体识别		实体识别综述	A Survey on Deep Learning for Named Entity Recognition \| IEEE Journals & Magazine \| IEEE Xplore	读完
12	Multi-Modal Knowledge Graph Construction and Application: A Survey（2022）	Xiangru Zhu, Zhixu Li Member, IEEE, Xiaodan Wang等	综述、知识图谱		多模态知识图谱的构建和应用	https://arxiv.org/abs/2202.05786	在读
13	融合多模态数据的小样本命名实体识别方法(2023)	张天明, 张杉, 刘曦, 曹斌, 范菁	综述、命名实体识别		多模态，命名实体识别	7069 (jos.org.cn)	读完
14	图像—文本多模态指代表达理解研究综述	王丽安，苏伟等	综述、指代表达理解任务		多模态，图像-文本	图像—文本多模态指代表达理解研究综述-Multimodal referring expression comprehension based on image and text: a review (ijournals.cn)	读完

二、看过的论文的小结。

研究型论文

1.Attention is All you need

研究背景:当前的模型都是基于复杂的循环或者卷积神经网络。可以忽视文本序列输入的距离限制，解决长距离的依赖。具体实现内容参考自然语言处理综述。

模型结构：

总结:Transformer模型完全采用self-attention机制代替了传统使用的RNN模型结构，且在自然语言翻译方面取得了良好的效果，同时，transformer可以进行并行计算，而不是和RNN那样序列化计算，提高了计算效率，Transformer能够学习长距离元素之间的依赖，也解决了传统RNN模型的在序列很长时产生的梯度消失、梯度爆炸等问题。而且self-attention机制也可以对模型更好的进行解释。但transformer也有一些缺点，即计算量相对巨大，多头机制中的无效信息有很多。、

2.Convolutional Neural Networks for Sentence Classification

简单来说就是作者将cnn应用到了文本分类任务

Convolutional Neural Networks for Sentence Classification - 知乎 (zhihu.com)

论文复现

TextCNN的复现–pytorch实现 - 知乎 (zhihu.com)

综述性论文

1.A Comprehensive Survey on Graph Neural Networks

总结:在本篇综述中，对图神经网络的发展进行了综述，并且将图神经网络分为了4类分别是卷积图神经网络、循环图神经网络、图自动编码器、时空图神经网络。并且介绍了一系列图的应用，例如在交通、推荐系统、化学等发面的应用，也对数据集、开源代码、对图模型的评价指标进行了总结，最后提出了4种未来的研究方向。分别是模型的深度、scalability trade-off、同一个模型处理不同类型的图、对动态图的处理，由于实际生活中的图都是动态图，边和节点会实时的发生改变。GCN和GNN的理解和复现。

A Comprehensive Survey on Graph Neural Networks（图神经网络） - 知乎 (zhihu.com)

关注

8
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
自然语言处理领域以及多模态计算机视觉论文整理(持续更新)

Transformer模型完全采用self-attention机制代替了传统使用的RNN模型结构，且在自然语言翻译方面取得了良好的效果，同时，transformer可以进行并行计算，而不是和RNN那样序列化计算，提高了计算效率，Transformer能够学习长距离元素之间的依赖，也解决了传统RNN模型的在序列很长时产生的梯度消失、梯度爆炸等问题。而且self-attention机制也可以对模型更好的进行解释。但transformer也有一些缺点，即计算量相对巨大，多头机制中的无效信息有很多。
复制链接

扫一扫