这篇综述也值得拓展阅读,从模型结构、效率优化、应用场景等多个维度详细介绍了Transformer相关研究的最新进展。
阅读地址:
https://arxiv.org/pdf/2003.13198.pdf
由于Transformer的模型结构简洁、高效,能够充分利用大规模训练语料的优势,目前不仅在NLP领域成为标配,在图像、语音和推荐等重要领域都在朝着SOTA迈进,很有必要持续跟进相关的研究工作进展。
▐ 语言生成
语言生成是NLP领域的重要分支,其中的机器翻译和多轮对话在工业届已经有不错的落地场景,相关的研究工作也值得仔细阅读。
传统的语言生成相关的任务,可以看下前几年的一篇综述:
佛阅读地址:
https://arxiv.org/abs/1703.09902
机器翻译的最新进展可以关注下谷歌AI和谷歌翻译2020的总结 :
阅读地址:
https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html
阅读地址:
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html#Translation
涉及多语种、低资源和测评多个领域的研究进展,以及Facebook FAIR的NMT进展
阅读地址:
https://arxiv.org/abs/2010.11125
机器翻译的测评。
阅读地址:
http://www.statmt.org/wmt20/
每年国内外知名科研机构和工业界都有团队参加,贡献的技术报告也可以了解到当前实用的提升翻译性能的机器翻译技术。
Philipp Koehn 17年写的这篇,里面提到的挑战是NMT领域未来重点关注的方向。
阅读地址:
https://www.aclweb.org/anthology/W17-3204.pdf
▐ 对话领域
对话领域可以重点关注下谷歌去年的工作,简单粗暴的大模型和大数据直接碾压了之前SOTA的结果。
阅读地址:
https://arxiv.org/abs/2001.09977
谷歌的 Meena 和 Facebook 的Blender 很好地诠释了深度学习在NLP领域的一个发展方向:简单粗暴+大力出奇迹。
阅读地址:
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
**Q:**图神经网络,有哪些值得推荐的综述性文章
=============================
豆苗:
图神经网络和卷积神经网络有着一脉相承的理论基础,建议可以此先了解卷积神经网络的一些基础理论知识。这个可以直接看吴恩达老师《卷积神经网络》的第一周课程。
至于图神经网络,它是2017年才逐渐火起来的,相应的系统性的资料较少。这里给题主列出一些我自己在学习时使用到的书籍、视频等资料。
《深入浅出图神经网络》,这本书是从原理、算法、实现、应用4个维度详细讲解图神经网络的,整体排版很舒服,对于想快速上手的小伙伴较为友好。
阅读地址:
https://www.zhihu.com/topic/21216055/hot
目前有的两大类较火的GNN方向,一个是谱域的卷积的代表GCN,背后有很深的理论支撑,可以关注问题【如何理解 Graph Convolutional Network(GCN)】(https://www.zhihu.com/question/54504471) ,下面有很多大神的精彩回答。
另一个是空域卷积的代表GraphSAGE和GATs。可以搭配b站上【2020 图神经网络在线研讨】(https://www.bilibili.com/video/BV1hC4y1a7To)视频一起食用,视频中有唐杰老师、石川老师、沈华伟老师以及宋国杰老师四位领域大牛介绍图神经网络,有基础有前沿,适合快速掌握领域科研趋势。
在有了上面知识后,可以尝试去看论文,进一步深入探究。这里给出清华大学在GitHub上的一个必读论文的汇总——
阅读地址:
https://github.com/thunlp/GNNPapers
最后在实现方面,目前已经有很多公司针对图数据的训练推出了图神经网络的框架。这里主要列出三个学术界常用框架,供题主根据实际任务快速实现自己图神经网络。
Deep Graph Library(DGL):由New York University(NYU)和Amazon Web Services(AWS)联合推出,支持PyTorch、MXNet和TensorFlow作为其后端。
github:github.com/dmlc/dgl
帮助文档:docs.dgl.ai/
PyTorch Geometric(PyG):由德国多特蒙德工业大学推出,对PyTorch用户来说是极为友好。
github:github.com/rusty1s/pyto
帮助文档:pytorch-geometric.readthedocs.io
tf_geometric:GNN的TensoFlow版本,适合tf用户。
github:github.com/CrawlScript/
帮助文档:tf-geometric.readthedocs.io
一家之言,欢迎补充与交流。
===
**Q:**推荐领域,有哪些值得推荐的综述性文章
============================
萌胖:
推荐领域覆盖的应用场景较多,工业界的推荐系统架构介绍首推谷歌2016年的论文:Deep Neural Networks for YouTube Recommendations
阅读地址:
https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf
这是一篇很接地气的文章,以youtube为例,介绍了深度学习在推荐系统中的应用。
此外从应用的角度,有一些综述的论文值得一读:
【经典的协同过滤推荐综述】阅读地址:
https://downloads.hindawi.com/archive/2009/421425.pdf
【深度学习推荐综述】阅读地址:
https://arxiv.org/abs/1707.07435
【图推荐网络综述】阅读地址:
https://arxiv.org/abs/2003.00911
现在召回主要在graph embedding的方向在做一些探索,这里也推荐一些经典的图神经网络相关论文:
【Deep Learning on Graphs综述】阅读地址:
https://arxiv.org/abs/1812.04202
【DeepWalk】阅读地址:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
![img](https://i-blog.csdnimg.cn/blog_migrate/071249f00a3185147b6636fd6b333412.jpeg)
总结
我个人认为,如果你想靠着背面试题来获得心仪的offer,用癞蛤蟆想吃天鹅肉形容完全不过分。想必大家能感受到面试越来越难,想找到心仪的工作也是越来越难,高薪工作羡慕不来,却又对自己目前的薪资不太满意,工作几年甚至连一个应届生的薪资都比不上,终究是错付了,错付了自己没有去提升技术。
这些面试题分享给大家的目的,其实是希望大家通过大厂面试题分析自己的技术栈,给自己梳理一个更加明确的学习方向,当你准备好去面试大厂,你心里有底,大概知道面试官会问多广,多深,避免面试的时候一问三不知。
大家可以把Java基础,JVM,并发编程,MySQL,Redis,Spring,Spring cloud等等做一个知识总结以及延伸,再去进行操作,不然光记是学不会的,这里我也提供一些脑图分享给大家:
希望你看完这篇文章后,不要犹豫,抓紧学习,复习知识,准备在明年的金三银四拿到心仪的offer,加油,打工人!
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!
,当你准备好去面试大厂,你心里有底,大概知道面试官会问多广,多深,避免面试的时候一问三不知。
大家可以把Java基础,JVM,并发编程,MySQL,Redis,Spring,Spring cloud等等做一个知识总结以及延伸,再去进行操作,不然光记是学不会的,这里我也提供一些脑图分享给大家:
[外链图片转存中…(img-NbLVXAcs-1712075028902)]
[外链图片转存中…(img-3WG0QsQa-1712075028903)]
[外链图片转存中…(img-7SEcVVGZ-1712075028903)]
希望你看完这篇文章后,不要犹豫,抓紧学习,复习知识,准备在明年的金三银四拿到心仪的offer,加油,打工人!
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!