6-机器学习进阶_指针网络_递归结构

最新推荐文章于 2023-08-24 21:46:31 发布
最新推荐文章于 2023-08-24 21:46:31 发布
阅读量129 收藏
点赞数
分类专栏： 李宏毅课程-机器学习飞桨深度学习学院 文章标签： 神经网络 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/119715714
版权

指针网络 seq2seq 自注意力机制 文本摘要 未知词汇处理
关键词由CSDN通过智能技术生成

在这里插入图片描述
指针网络，输入坐标，输出包围的外围的点，输入的特征是什么，输出的选择结果范围是什么
在这里插入图片描述
传统的seq2seq
decoder训练的时候固定输出范围了，当预测输出类别大于之前训练好的时候的时候和训练不一致就不work了
这些问题，前人经典的课程已经涉及到了，值得反复的看
所谓的训练就是，按一定的规则去训练一个函数，让函数学会人为设定的这个规则而已
在这里插入图片描述
通过指针网络，不取decoder是输出，直接取encoder的输出即可，通过相似度计算去改了最大的那个，知道输出x0.y0这个停止标志，decode部分同样包含解码网络的
在这里插入图片描述
在文本摘要的应用
用一定的几率传统和指针网络相结合，最终的输出是两者概率的加权和，针对词典里面没有的词也能正常输出，
在这里插入图片描述
阅读理解和对话系统都可以应用，针对词典中没有的词，可以直接通过指针网络从输入里面取即可
在这里插入图片描述
其实就是纯数学的应用而已，输入的数值，经过一个函数得到输出，神经元就是一个函数，包含线性和非线性而已
Recurrent structure就是Recursive structure第一个特殊应用而已，Recursive structure可以觉得根据文法结构方式结合，也可以按这种递归网络的方式结合
在这里插入图片描述
按特定的文法结构来组合，先结合那部分向量，再结合哪部分向量
在这里插入图片描述
在这里插入图片描述
根据语法结构，先结合部分，再结合其他的部分，尤其是针对数学公式，这个方法会更加有效相比传统的RNN网络
在这里插入图片描述
不是简单的组合，经过一些运算和转换在组合
这个就是自注意力机制的起源了，后面还有拼接，创新的方法，都是经典的点子的一个燃烧

在这里插入图片描述
把一个向量拆成自己的和影响其他向量的组合
在这里插入图片描述
LSTM的组合，组合的网络换成LSTM，就变成了LSTM递归树，数据结构的思想随处可见

【数据结构学习笔记】一、数据结构介绍及算法分析（新手入门进阶指南）
大家好我叫张同学
07-15 1092
文章目录一、数据结构和算法介绍1.什么是数据结构？2.什么是算法？3.数据结构和算法的重要性4.如何学好数据结构和算法5.数据结构和算法书籍及资料推荐6.经常遇到不会做的题目二、算法分析1、算法效率时间复杂度1.时间复杂度的概念：2.大O的渐进表示法空间复杂度1.空间复杂度的概念：2.大O渐进法表示法： 数据结构学习的心理准备： 一、数据结构和算法介绍 1.什么是数据结构？ 数据结构(Data Structure)是计算机存储、组织数据的方式，指相互之间存在一种或多种特定关系的数据元素的集合。 理解
Python100Days学习笔记---Day16-20Python语言进阶
迷途可达C的博客
03-30 764
生成式（推导式）的用法 prices = { 'AAPL': 191.88, 'GOOG': 1186.96, 'IBM': 149.24, 'ORCL': 48.44, 'ACN': 166.89, 'FB': 208.09, 'SYMC': 21.29 } # 用股票价格大于100元的股票构造一个新的字典 prices2 = {key: ...
Pointer-Networks:指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率
05-18
指针网络 指针网络Oriol Vinyals，Meire Fortunato，Navdeep Jaitly。 指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率。 在这个仓库中，我举了两个Pointer Networks模型的例子。 序列模型 在序列模型中，输出的长度与输入的长度相同。 我把玩具任务分拣了。 输出是输入的排序索引。 请参见以下示例。 // An example // Input : [0, 3, 1, 2] // Output: [0, 2, 3, 1] $ python sequence_train.py epoch: 0, Loss: 0.99817 Acc: 0.57% (51/9000) epoch: 2, Loss: 0.00077 Acc: 100.00% (9000/9000) epoch:
指针网络（Pointer network）--学习笔记
oneself的博客
10-01 4301
指针网络（Pointer network）--学习笔记
pointer network指针网络
最新发布
weixin_49379140的博客
08-24 1763
指针网络
网络指针指向一块内存，它的内容是所指内存的地址;引用是某块内存的别名；可重入函数
eyyeyyeyy11的博客
08-04 605
1.OSI七层模型以及TCP/IP四层模型 层次名称 功    能 协    议 网络接口 （Host-to-Net Layer） 负责实际数据的传输，对应OSI参考模型的下两层 HDLC（高级链路控制协议） PPP（点对点协议） SLIP（串行线路接口协议） 网际层 （Int
一.学习数据结构之指针和结构体
qq_28479871的博客
01-03 2151
1.1指针的重要性内存是可以被CPU直接访问的，硬盘不行主要靠地址总线，数据总线，控制总线 具体的总线的解释 来自于博客园 Copyright © zhliao1.2指针的定义1.2.1地址： 地址就是内存单元的编号 从0开始的非负整数 范围：0–FFFFFFFF[0-4G-1]（地址线是32位，刚好控制2的32次） 1.2.2指针： 指
C-FAQ.rar_C FAQ
09-21
《C语言编程常见问题解答》 C语言，作为计算机科学的基础，是许多程序员入门的首选。...通过深入学习和实践，可以逐步提升对C语言的理解和应用能力，为后续的系统级编程、驱动开发或游戏编程等进阶领域打下坚实基础。
iOS开发-Swift进阶之类、对象、属性！
iOS-大鑫
05-26 587
本文主要介绍以下几点，文章最后会总结。 通过SIL来理解对象的创建 Swift类结构分析 存储属性 & 计算属性 延迟存储属性 & 单例创建方式 SIL 在底层流程中，OC代码和SWift代码时通过不同的编译器进行编译，然后通过LLVM，生成.o可执行文件，如下所示 SIL-1 OC中通过clang编译器（clang可以参考这篇文章iOS-底层原理 31：LLVM编译流程 & Clang插件开发），编译成IR，然后再生成可执行文件.o（即机器码） sw
【数据结构进阶】：揭秘平衡二叉树(B-Trees)的高效存储与性能优化
[【数据结构进阶】：揭秘平衡二叉树(B-Trees)的高效存储与性能优化](http://www.btechsmartclass.com/data_structures/ds_images/B-Tree Example.jpg) # 1. 平衡二叉树基础概念 在信息技术的广泛领域中，平衡二叉树...
指针生成网络 Pointer-Generator《Get To The Point: Summarization with Pointer-Generator Networks》论文阅读笔记
彭伟的博客
02-17 5095
《Get To The Point: Summarization with Pointer-Generator Networks》 Introduction 上篇论文《(Copynet)Incorporating Copying Mechanism in Sequence-to-Sequence Learning》模型与此比较相似，主要用在摘要和对话系统，不过其网络结构比较复杂，混合概率是两者的和...
【5分钟Paper】Pointer Network指针网络
小小何先生的学习之旅
07-18 815
Pointer Network网络框架核心理解。
Pointer Network指针网络
一个nlp探险者的博客
07-25 1万+
Why Pointer Network Structure of Pointer Network How to process language generation by incorporating Pointer Network Get To The Point: Summarization with Pointer-Generator Networks CopyNet Product abstract generation through pointer network
机器学习-29-Pointer Network(指针网络)
迷雾总会解
12-30 1万+
文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用：文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用：机器翻译)Applications-Chat-bot(应用：对话)总结参考文献 Pointer Network 简介 问题
李宏毅机器学习笔记第13周_指针网络（Pointer Network）
peaunt1的博客
07-10 682
Pointer Network
论文翻译|指针网络
小火龙的博客
11-11 1671
摘要 我们引入了一种新的神经架构来学习输出序列的条件概率，其中元素是与输入序列中的位置相对应的离散标记。此类问题无法通过现有方法（例如序列到序列 [1] 和神经图灵机 [2]）轻松解决，因为输出的每一步中目标类别的数量取决于输入的长度，而输入的长度是可变的.诸如对可变大小序列进行排序以及各种组合优化问题等问题都属于这一类。我们的模型使用最近提出的神经注意力机制解决了可变大小输出字典的问题。它与之前的注意力尝试的不同之处在于，它不是在每个解码器步骤使用注意力将编码器的隐藏单元混合到上下文向量中，而...
指针网络GlobalPointer模型存在的不足以及改进点（思考）
weixin_48592695的博客
09-08 1631
如果把下面的几个小不足能够用一种通用的方法解释清楚并解决，可能就够水文章了吧，哈哈哈哈哈哈哈哈哈。。。
【ML4CO基础】Pointer Networks原理及代码实现分析(Oriol Vinyals, 2015)
长亮-一个奋斗ing的CSer
07-11 2342
Pointer Networks天生具备输出元素来自输入元素这样的特点，于是它非常适合用来实现“复制”这个功能，这就造成了目前Ptr-Nets成为文本摘要方法中的利器的局面。此外，在组合优化领域，Ptr-Nets也得到了广泛的应用，并已成为组合优化问题的端到端方法的入门模型，后来基于此模型，研究者也进行了很多改进。总之，Ptr-Nets为组合优化的端到端解决办法起了一个好头，并促使广大研究者进行更加深入的研究............
Pointer Networks简介及其应用
热门推荐
啊噗啊噗
01-14 1万+
原文： https://zhuanlan.zhihu.com/p/48959800   本文介绍15年发表在NIPS上的一篇文章：Pointer Networks[1]，以及后续应用了Pointer Networks的三篇文章：Get To The Point: Summarization with Pointer-Generator Networks[2]、Incorporating Cop...
编程面试与算法进阶：数据结构篇精华总结
在第三部分的综合演练中，作者挑战读者处理海量数据，如关联式容器的设计、分治法的应用、以及机器学习的基础概念，如K近邻算法和支持向量机。此外，还有对语言基础、概率统计、智力逻辑、系统设计和操作系统等内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值