【NLP+图神经网络+推荐领域】2024年最新综述性文章推荐

阅读地址：

https://arxiv.org/abs/2012.1540

以及阿里巴巴的这篇：

阅读地址：

https://arxiv.org/pdf/2003.13198.pdf

▐  快速提升模型的训练速度以及在线解码的效率

---

这篇综述也值得拓展阅读，从模型结构、效率优化、应用场景等多个维度详细介绍了Transformer相关研究的最新进展。

阅读地址：

https://arxiv.org/pdf/2003.13198.pdf

由于Transformer的模型结构简洁、高效，能够充分利用大规模训练语料的优势，目前不仅在NLP领域成为标配，在图像、语音和推荐等重要领域都在朝着SOTA迈进，很有必要持续跟进相关的研究工作进展。

---

▐  语言生成

语言生成是NLP领域的重要分支，其中的机器翻译和多轮对话在工业届已经有不错的落地场景，相关的研究工作也值得仔细阅读。

传统的语言生成相关的任务，可以看下前几年的一篇综述：

佛阅读地址：

https://arxiv.org/abs/1703.09902

机器翻译的最新进展可以关注下谷歌AI和谷歌翻译2020的总结 ：

阅读地址：

https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html

阅读地址：

https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html#Translation

涉及多语种、低资源和测评多个领域的研究进展，以及Facebook FAIR的NMT进展

阅读地址：

https://arxiv.org/abs/2010.11125

机器翻译的测评。

阅读地址：

http://www.statmt.org/wmt20/

每年国内外知名科研机构和工业界都有团队参加，贡献的技术报告也可以了解到当前实用的提升翻译性能的机器翻译技术。

Philipp Koehn 17年写的这篇，里面提到的挑战是NMT领域未来重点关注的方向。

阅读地址：

https://www.aclweb.org/anthology/W17-3204.pdf

▐  对话领域

对话领域可以重点关注下谷歌去年的工作，简单粗暴的大模型和大数据直接碾压了之前SOTA的结果。

阅读地址：

https://arxiv.org/abs/2001.09977

谷歌的 Meena 和 Facebook 的Blender 很好地诠释了深度学习在NLP领域的一个发展方向：简单粗暴+大力出奇迹。

阅读地址：

https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html

**Q：**图神经网络，有哪些值得推荐的综述性文章

=============================

---

豆苗：

图神经网络和卷积神经网络有着一脉相承的理论基础，建议可以此先了解卷积神经网络的一些基础理论知识。这个可以直接看吴恩达老师《卷积神经网络》的第一周课程。

至于图神经网络，它是2017年才逐渐火起来的，相应的系统性的资料较少。这里给题主列出一些我自己在学习时使用到的书籍、视频等资料。

《深入浅出图神经网络》，这本书是从原理、算法、实现、应用4个维度详细讲解图神经网络的，整体排版很舒服，对于想快速上手的小伙伴较为友好。

阅读地址：

https://www.zhihu.com/topic/21216055/hot

目前有的两大类较火的GNN方向，一个是谱域的卷积的代表GCN，背后有很深的理论支撑，可以关注问题【如何理解 Graph Convolutional Network（GCN）】（https://www.zhihu.com/question/54504471） ，下面有很多大神的精彩回答。

另一个是空域卷积的代表GraphSAGE和GATs。可以搭配b站上【2020 图神经网络在线研讨】（https://www.bilibili.com/video/BV1hC4y1a7To）视频一起食用，视频中有唐杰老师、石川老师、沈华伟老师以及宋国杰老师四位领域大牛介绍图神经网络，有基础有前沿，适合快速掌握领域科研趋势。

在有了上面知识后，可以尝试去看论文，进一步深入探究。这里给出清华大学在GitHub上的一个必读论文的汇总——

阅读地址：

https://github.com/thunlp/GNNPapers

最后在实现方面，目前已经有很多公司针对图数据的训练推出了图神经网络的框架。这里主要列出三个学术界常用框架，供题主根据实际任务快速实现自己图神经网络。

Deep Graph Library（DGL）：由New York University（NYU）和Amazon Web Services（AWS）联合推出，支持PyTorch、MXNet和TensorFlow作为其后端。

github：github.com/dmlc/dgl

帮助文档：docs.dgl.ai/

PyTorch Geometric（PyG）：由德国多特蒙德工业大学推出，对PyTorch用户来说是极为友好。

github：github.com/rusty1s/pyto

帮助文档：pytorch-geometric.readthedocs.io

tf_geometric：GNN的TensoFlow版本，适合tf用户。

github：github.com/CrawlScript/

帮助文档：tf-geometric.readthedocs.io

一家之言，欢迎补充与交流。

===

**Q：**推荐领域，有哪些值得推荐的综述性文章

============================

---

萌胖：

推荐领域覆盖的应用场景较多，工业界的推荐系统架构介绍首推谷歌2016年的论文：Deep Neural Networks for YouTube Recommendations

阅读地址：

https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf

这是一篇很接地气的文章，以youtube为例，介绍了深度学习在推荐系统中的应用。

此外从应用的角度，有一些综述的论文值得一读：

【经典的协同过滤推荐综述】阅读地址：

https://downloads.hindawi.com/archive/2009/421425.pdf

【深度学习推荐综述】阅读地址：

https://arxiv.org/abs/1707.07435

【图推荐网络综述】阅读地址：

https://arxiv.org/abs/2003.00911

现在召回主要在graph embedding的方向在做一些探索，这里也推荐一些经典的图神经网络相关论文：

【Deep Learning on Graphs综述】阅读地址：

https://arxiv.org/abs/1812.04202

【DeepWalk】阅读地址:

https://dl.acm.org/doi/abs/10.1145/2623330.2623732

【Node2vec】阅读地址:

https://arxiv.org/abs/1607.00653

【GraphSage】阅读地址:

https://papers.nips.cc/paper/2017/file/5dd9db5e033da9c6fb5ba83c7a7ebea9-Paper.pdf

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

总结

三个工作日收到了offer，头条面试体验还是很棒的，这次的头条面试好像每面技术都问了我算法，然后就是中间件、MySQL、Redis、Kafka、网络等等。

• 第一个是算法

关于算法，我觉得最好的是刷题，作死的刷的，多做多练习，加上自己的理解，还是比较容易拿下的。

而且，我貌似是将《算法刷题LeetCode中文版》、《算法的乐趣》大概都过了一遍，尤其是这本

《算法刷题LeetCode中文版》总共有15个章节：编程技巧、线性表、字符串、栈和队列、树、排序、查找、暴力枚举法、广度优先搜索、深度优先搜索、分治法、贪心法、动态规划、图、细节实现题

《算法的乐趣》共有23个章节：

• 第二个是Redis、MySQL、kafka（给大家看下我都有哪些复习笔记）

基本上都是面试真题解析、笔记和学习大纲图，感觉复习也就需要这些吧（个人意见）

• 第三个是网络（给大家看一本我之前得到的《JAVA核心知识整理》包括30个章节分类，这本283页的JAVA核心知识整理还是很不错的，一次性总结了30个分享的大知识点）

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
)]

《算法的乐趣》共有23个章节：

[外链图片转存中…(img-YGRJHcKa-1713534147037)]

[外链图片转存中…(img-hi5QZlS6-1713534147039)]

• 第二个是Redis、MySQL、kafka（给大家看下我都有哪些复习笔记）

基本上都是面试真题解析、笔记和学习大纲图，感觉复习也就需要这些吧（个人意见）

[外链图片转存中…(img-bzBbmI5n-1713534147040)]

• 第三个是网络（给大家看一本我之前得到的《JAVA核心知识整理》包括30个章节分类，这本283页的JAVA核心知识整理还是很不错的，一次性总结了30个分享的大知识点）

[外链图片转存中…(img-vr8ShO8g-1713534147041)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！