【论文解读系列】从RNN/CNN到大模型全解析

最新推荐文章于 2024-12-26 16:30:51 发布
最新推荐文章于 2024-12-26 16:30:51 发布
阅读量2.1k 收藏 36
点赞数 46
分类专栏： 论文解读系列 转载 文章标签： rnn cnn 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73776435/article/details/137930941
版权

论文：A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond
地址：GitHub：https://github.com/QiushiSun/NCISurvey

文章目录

一、代码模型的发展

1.神经语言建模（Neural Language Modeling）时代

2.代码预训练模型时代（CodePTMs）

3. 大型语言模型（LLMs）时代

二、学习范式的转移

三、数据集与评测基准

四、跨领域协同

五、应用与未来

神经代码智能（Neural Code Intelligence），即利用深度学习理解、生成和优化代码，正展现出其对人工智能领域变革性的影响。作为连接自然语言与编程语言的桥梁，这一领域不论是从论文数量上还是应用上，在过去几年里已经极大吸引了研究界/工业界的关注。这篇综述论文按领域发展的时间顺序，系统性地回顾了代码智能领域的进步，囊括了超过50个代表性模型及其变种、超过20个类别的代码任务，以及覆盖了超过680项相关工作。本文遵循历史发展脉络，追溯了不同研究阶段的范式转变（例如，从利用RNN建模代码到LLM时代）。同时，本综述也从模型、任务、评测和应用等方面梳理不同阶段的主要学习范式转移。在应用层面，代码智能从最初聚焦于解决特定场景的尝试开始，经历了在其快速扩展期间探索多样化任务的阶段，到目前专注于应对越来越复杂和多样化的现实世界挑战。

一、代码模型的发展

1.神经语言建模（Neural Language Modeling）时代

神经语言建模时期见证了深度学习来处理code的最早期尝试。在这一时期设计的方法主要依赖于成熟的RNN/CNN结构来建模代码。值得注意的是，这些方法不仅利用了代码的文本信息，还将代码结构，如抽象语法树AST/数据流Data flow以及控制流Control flow从代码中提取出来，并融入建模的过程  ，其发展与Semantic parsing紧密相连。

最低0.47元/天 解锁文章
从基础到高级：AI大模型开发的技术栈
AI天才研究院
01-17 2148
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1675
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
RNN知名论文
09-09
The Unreasonable Effectiveness of Recurrent Neural Networks.pdf
RNN3篇论文总结
lyhhh0316的博客
11-17 1312
总结了3篇RNN论文内容，留一个笔记稿方便自己看
论文阅读(通用CNN和RNN建模的经验评估)
暮木的博客
01-15 718
论文 An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 摘要 最近的一些研究表明卷积神经网络在像语音合成以及机器翻译的任务上超过了循环神经网络。给定一个新的序列建模任务或者数据集，应该选用哪种架构，简单的卷积体系结构在各种任务和数据集上的表现优于常规递归网络（如LSTM），同时表现出更长的有效内存。我们得出结论，应该重新考虑序列建模与递归网络之间...
循环神经网络RNN论文解读
热门推荐
qq_32172681的博客
08-25 4万+
版权声明：本文为CSDN博主「了不起的赵队」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 论文名称：RECURRENT NEURAL NETWORK REGULARIZATION 论文地址：https://arxiv.org/...
Paper：RNN之《Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列》的翻译和解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-15 9415
利用长短期记忆递归神经网络，通过简单地预测一个数据点来实现长时间的复杂序列生成。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，通过允许网络根据文本序列调整预测，将其扩展到手写合成。由此产生的系统能够生成多种风格的高度逼真的草书。递归神经网络(RNNs)是一类丰富的动态模型，被用于生成音乐[6,4]、文本[30]和动作捕捉数据[29]等领域的序列。通过一步一步地处理真实的数据序列并预测接下来会发生什么，可以训练RNNs来生成序列。假设预测是概率性的，
论文泛读 - 基于RNN建模: Reconstructing computational system dynamics from neural data with recurrent neural
qq5q13638的博客
05-01 449
这篇文章介绍中的研究和方法，并非指的是计算机科学的神经网络模型(比如MLP, CNN, RNN之类的)，而是指我们如何从实验数据中，构建数学模型去描述生物神经元的动力学行为。传统的计算神经科学，已经从物理理论推导出了一些模型，如：LIF(1907)，HH(1952)，Cable theory(电缆模型)之类的。但如何，或如何，其实在传统计算神经科学中的课程中讲得并不多。这个文章是希望从数据驱动的角度，以RNN来进行数据驱动的生物神经元动力学建模，讨论了RNN的常用处理方法和可解释性。
大一统2.0！CNN, RNN, GNN和Transformer模型的统一表示和泛化误差理论分析
Paper weekly
11-29 820
论文标题：RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer论文链接：https://arxiv.org/abs/2411.11162官方网站：https://www.tinybig.org/代码链接：https://github.com/...
解读目前AI就业岗位——大语言模型（LLM）应用工程师学习路线、就业前景及岗位全解析
最新发布
AI手套的博客
12-26 2607
在当前这个快速变化的时代，我们大学生面临着前所未有的就业挑战。校园里的教育往往难以跟上行业的飞速发展，导致许多学生在投入了宝贵的时间和金钱后，毕业时却发现自己站在了就业市场的边缘，面临着“毕业即失业”的窘境。这种现象并非个案，而是普遍存在于我们这一代年轻人中。我们所学的专业，很多已经达到了饱和状态，市场上对口的高薪职位变得越来越稀缺。2022年之后，每年有超过1000万的大学生涌入就业市场，这个数字是惊人的。他们中的许多人都怀揣着梦想，希望能够找到一份与自己专业对口的工作，但现实往往并不如人意。
RNN,强化学习论文
01-28
人工智能中循环神经网络（RNN）、序列模型，强化学习方面的论文。
深度学习RNN 经典论文69篇，包含LSTM应用，LSTM综述，RNN应用，RNN综述
03-29
该文件为自己收集整理的关于深度学习RNN 经典论文69篇，包含LSTM应用，LSTM综述，RNN应用，RNN综述。
双向RNN原始论文
08-07
双向RNN原始论文
论文阅读 | Polygon-RNN：Annotating Object Instances with a Polygon-RNN
diaokuangjin0620的博客
11-02 484
论文地址：https://arxiv.org/abs/1704.05548 项目地址：http://www.cs.toronto.edu/polyrnn 概述 Polygon-RNN是一篇收录于CVPR2017的论文，文中作者基于CNN+RNN提出了一种半自动目标实例标注的算法。当前大多方法都将目标分割视为像素级分类问题，而本文则将其看做多边形预测任务，以裁剪的目标图像作为输入，预...
贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样
量子位
08-01 129
衡宇 发自 凹非寺量子位 | 公众号 QbitAITransformer大模型尺寸变化，正在重走CNN的老路！看到大家都被LLaMA 3.1吸引了注意力，贾扬清发出如此感慨。拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象：在ImageNet时代，研究人员和技术从业者见证了参数规模的快速增长，然后又开始转向更小、更高效的模型。听起来，是不是和GPT哐哐往上卷模型参数，业界普遍...
【NLP】基于大语言模型的论文分析
m0_69310669的博客
07-26 973
利用大语言模型（LLMs）可以帮助我们筛选行业论文，分析行业热点，总结论文内容，从而帮助科研人员更好地把握论文核心思想。试完成以下任务：子任务 1：通过网络爬取的方式收集CVPR 2024 论文（不少于 500 篇），并通过pdf解析的方式提取出论文abstract，找到其中所有能应用在智能驾驶领域相关论文，进行子领域分类，并统计每个子领域的论文数量。（子领域分类通过调用大语言模型完成，具体子领域名称不做限制，分类依据言之有理即可，子领域数量限制在 6 个以内。调用的大语言模型不限，推荐使用。
【论文阅读】Recurrent Neural Network Regularization
weixin_53563701的博客
01-18 8800
关于RNN及其变体中dropout的应用
最新RNN相关模型
sereasuesue的博客
10-22 1428
最近在看最新RNN相关模型 找到很多论文 Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network 递归神经网络（RNN）和长短期记忆（LSTM）网络的基础 要点• 递归神经网络（RNN）的定义来自延迟微分方程。 •RNN展开技术在形式上被证明是近似无限序列。 •可以从RNN逻辑上合理化长短期内存网络（LSTM）。 •提供了完全推导LSTM训练方程式的系统图...
lightRNN论文阅读笔记
疏影横斜
04-24 1622
LightRNN Memory and Computation-Efficient Recurrent Neural Networks 论文阅读笔记   论文思想：让词语共享行向量与列向量，使实际表示词使用的向量的个数明显减少，从而参数与训练复杂度都减少，达到压缩模型和加速训练的目的。而在One Billion Word Benchmark上面测试结果表明，压缩后的模型的PPL仍表现良好。
Transformer深度解析：从Self-Attention到多头注意力机制
Transformer的核心创新在于使用Self-Attention机制替代传统的循环神经网络（RNN）和卷积神经网络（CNN），这使得模型能够并行计算，大大提升了处理速度。 Transformer的整体架构基于Encoder-Decoder结构，用于解决...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值