[学习日志]深度学习-李宏毅 指针网络

最新推荐文章于 2024-08-16 07:52:29 发布
最新推荐文章于 2024-08-16 07:52:29 发布
阅读量284 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/113614675
版权

要解决的问题

需要解决的都是一些算法问题,比如
在这里插入图片描述
在输入点中选择尽可能少的点,使这些点的连线能包住其他所有点

设想一:Sequence to Sequence

在这里插入图片描述
因为输入和输出都是序列,符合s2s的情景
但是有一个问题:s2s在输出的时候是在一个范围内做多道选择题,也就是必须给出答案的范围
当输入的数量发生变化,超出训练时的最大范围之后,模型就失效了

设想二:指针网络 动态决定输出范围

在这里插入图片描述
抛弃了SEQ2SEQ的encoder和decoder
采用类似Attention的机制,根据label训练key
每次将Attention最大的作为输出,并与label比较,输出Xo结束
这样就规避了选择范围的问题,因为每词都是从输入里选,输入就是范围

烫烫烫烫的若愚
关注
深入解析：如何使用指针网络(Pointer Networks)在Python中实现对TSP的强化学习解决方案
qq_38334677的博客
09-18 991
传统的seq2seq模型通过固定大小的词汇表预测输出序列，但对于像TSP这样的问题，输出空间是随输入大小而变化的，因此传统方法并不适用。指针网络（Pointer Networks）是一种序列到序列（seq2seq）的模型变种，它适用于输出序列的长度与输入序列相同，且输出的每一个元素是输入序列的一个位置的指针。编码器的目的是接收输入序列（在TSP的上下文中为城市的坐标）并生成一个固定长度的上下文向量，这个向量捕获输入序列的整体信息。在每次迭代中，我们都会产生一个旅行路径，并根据该路径的回报来更新模型的参数。
2020李宏毅机器学习笔记——17. Pointer Network(指针网络)
weixin_44790306的博客
07-28 2343
摘要：本章是在介绍Pointer Network(指针网络)的 文章目录1.Introduce（引入） 1.Introduce（引入） 原始问题：就是输入一大堆数据点，然后再输出一些点且这些点连起来可以将输入点全部包围起来。 这个本来是一个演算法可以解决的问题，现在我们用NN来解决。 我们把所有点的坐标（当前假设是二维的），丢到NN里面，要求输出得到最外围点的下标。这个问题实际上可以看做是Sequence-to-sequence问题。如下图： sequence2Sequence模型：是RNN的一个重要的应
指针网络(Pointer Networks) 开源项目指南
最新发布
gitblog_01026的博客
08-16 267
指针网络(Pointer Networks) 开源项目指南 pointer-networksPointer Networks Implementation in Keras项目地址:https://gitcode.com/gh_mirrors/po/pointer-networks 一、项目目录结构及介绍 在探索位于 https://github.com/keon/pointer-network...
【深度学习】Pointer Network
布纸所云
09-10 463
Pointer Network 论文地址：https://arxiv.org/pdf/1506.03134.pdf 概述 传统的 seq2seq 模型会预先固定输出的词汇表，无法解决 输出序列的词汇表会随着输入序列长度的改变而改变 的问题，如寻找凸包等。对于这类问题，输出往往是输入集合的子集。 下图是凸包问题示例： Pointer Network 的主要特点如下： Pointer Network的输出是离散的 token，对应 input sequence 中的位置； 在输出的每一步， target c
6.Pointer Network(李宏毅)
weixin_43585712的博客
12-29 886
提出的动机 Sequence2Sequence（简称seq2seq）模型是RNN的一个重要的应用场景，顾名思义，它实现了把一个序列转换成另外一个序列的功能，并且不要求输入序列和输出序列等长。 传统的seq2seq模型是无法解决输出序列的词汇表会随着输入序列长度的改变而改变的问题的，如寻找凸包等。因为对于这类问题，输出往往是输入集合的子集。基于这种特点，作者考虑能不能找到一种结构类似编程语言中的指针...
2020李宏毅机器学习笔记-Pointer Network
zn961018的博客
06-13 386
目录 概述 1. Introduce 2. Pointer Network 3. Applications 3.1Summarization 3.2Machine Translation 3.3Chat-bot 总结和展望 概述 本节主要讲的是Pointer Network，即指针网络。因为传统的seq2seq模型是无法解决输出序列的词汇表会随着输入序列长度的改变而改变的问题的，而提出Pointer Network，它预测的时候每一步都找当前输入序列中权重最大的那个元素，而由于输出...
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
深度学习-李宏毅
09-25
《深度学习-李宏毅》是由台湾大学著名教授李宏毅主讲的一套深度学习课程的讲义，这套资料对于深度学习的初学者来说是一份非常宝贵的资源。李宏毅教授以其深入浅出的讲解风格，使得复杂难懂的深度学习概念变得易于...
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
《Pointer Networks》
qq_34325086的博客
09-29 618
这周读的是《Pointer Networks》这篇文章。作者是Google brain和UC Berkeley的研究人员，作者在本文中通过对编码器-解码器机制和注意力机制进行改进，提出了新的网络结构pointer network，并将其运用到解决组合最优化问题。下图为seq2seq模型与指针网络的对比： 可以看出传统的seq2seq模型最终产生的是一个序列，且序列中包含的元素个数与输入序列中...
Pointer-Networks:指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率
05-18
指针网络 指针网络Oriol Vinyals，Meire Fortunato，Navdeep Jaitly。 指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率。 在这个仓库中，我举了两个Pointer Networks模型的例子。 序列模型 在序列模型中，输出的长度与输入的长度相同。 我把玩具任务分拣了。 输出是输入的排序索引。 请参见以下示例。 // An example // Input : [0, 3, 1, 2] // Output: [0, 2, 3, 1] $ python sequence_train.py epoch: 0, Loss: 0.99817 Acc: 0.57% (51/9000) epoch: 2, Loss: 0.00077 Acc: 100.00% (9000/9000) epoch:
New-Pointer-Generator-Networks-for-Summarization-Chinese:基于transformer的指针生成网络
05-28
zn 指针生成网络，中文数据集下生成摘要, 详情 改动的地方 原论文的指针生成网络，对于正文和摘要的特征抽取是采用单层(双向）的LSTM进行抽取的，我将其变为Bert的embedding的结构。模型的整体框架没有变动，但是工程上的处理进行了微调。（并非使用了Bert） 中文数据： 250万篇新闻( 原始数据9G，压缩文件3.6G；新闻内容跨度：2014-2016年) 或，密码:k265 tokenizer 新闻数据集的分词代码 new-point-generate-zh 指针生成网络在新闻数据集下的应用 运行 先是tokenizer python main.py --original_data_dir E:\0000_python\point-genge\point-generate\zh\data --tokenized_dir ./tokenized_single E:\0000_py
pointer-network-tensorflow：“指针网络”的TensorFlow实现
02-06
Tensorflow中的指针网络 TensorFlow实现。 支持多线程数据管道以减少I / O延迟。 要求 Python 2.7 用法 训练模型： $ python main.py --task=tsp --max_data_length=20 --hidden_dim=512 # download dataset used in the paper $ python main.py --task=tsp --max_data_length=10 --hidden_dim=128 # generate dataset itself 训练模型： $ python main.py $
指针网络-论文翻译和原文
11-11
https://blog.csdn.net/qq_36631076/article/details/121271456 论文翻译|指针网络
Pointer Network指针网络
热门推荐
一个nlp探险者的博客
07-25 1万+
Why Pointer Network Structure of Pointer Network How to process language generation by incorporating Pointer Network Get To The Point: Summarization with Pointer-Generator Networks CopyNet Product abstract generation through pointer network
机器学习-29-Pointer Network(指针网络)
迷雾总会解
12-30 1万+
文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用：文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用：机器翻译)Applications-Chat-bot(应用：对话)总结参考文献 Pointer Network 简介 问题
指针网络（Pointer network）--学习笔记
oneself的博客
10-01 4128
指针网络（Pointer network）--学习笔记
论文翻译|指针网络
小火龙的博客
11-11 1641
摘要 我们引入了一种新的神经架构来学习输出序列的条件概率，其中元素是与输入序列中的位置相对应的离散标记。此类问题无法通过现有方法（例如序列到序列 [1] 和神经图灵机 [2]）轻松解决，因为输出的每一步中目标类别的数量取决于输入的长度，而输入的长度是可变的.诸如对可变大小序列进行排序以及各种组合优化问题等问题都属于这一类。我们的模型使用最近提出的神经注意力机制解决了可变大小输出字典的问题。它与之前的注意力尝试的不同之处在于，它不是在每个解码器步骤使用注意力将编码器的隐藏单元混合到上下文向量中，而...
深度学习入门：李宏毅教授讲座概要
"《1天搞懂深度学习》是由李宏毅（Hung-yi Lee）编写的教程，旨在帮助读者快速理解深度学习的基本概念和技术。讲座分为四个部分：讲座I介绍深度学习、讲座II提供训练深度神经网络的技巧、讲座III探讨神经网络的变种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值