Interpretable and Compositional Relation Learning by Joint Training with an Autoencoder读书笔记

最新推荐文章于 2024-04-14 01:41:20 发布
最新推荐文章于 2024-04-14 01:41:20 发布
阅读量251 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjh18813050566/article/details/86690466
版权

发表于ACL2018

本文指出KB embedding应当落在一个低维空间中，更能捕捉组合关系；以往方法使用预定义的规则限制维度，但由于不知道哪些关系具有组合性，效果不理想。本文提出使用Autoencoder联合训练达到降维目的。

 

模型：

    实体定义为向量，关系定义为矩阵，composition训练：即根据路径和两端实体计算loss

    Autoencoder联合训练：对关系矩阵构建一个autoencoder，计算重构loss。使用RuLU函数是的code具有稀疏性。

优化技巧：

    直接采用上述两个loss一起训练很难平衡两者关系。

    本文讨论了如何设计参数才能有效训练

结论：

    autoencoder联合训练帮助KB embedding降维，同时Autoencoder学到了低维稀疏表示，更具有可解释性

「已注销」
关注
专栏目录
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
阅读"Semi-supervised Training of a Voice Conversion Mapping Function using a Joint-Autoencoder"
sunflower_Yolanda的博客
06-17 1025
Stacked-Joint-Autoencoder(SJAE)架构：找到平行语料中源和目的特征的共同编码。 最终DNN的组成：SJAE中源编码，目的解码。 在非监督学习中，使用大量无关说话者的数据，会减少在监督学习中需要的平行语料的数据量。在此基础上，使用与源说话人和目的说话人相似的说话人的数据，进行非监督学习。 半监督学习系统中包含如下几个部分： 在general-purposes databa
ISTA-Net : Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
weixin_42245856的博客
03-12 4164
论文题目：ISTA-Net : Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing 作者：Zhang, Jian and Ghanem, Bernard 书名：{CVPR} 年份：{2018} <Jian Zhang, Bernard Ghanem , “ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image
关于论文《ISTA-Net》的研究心得
qq_42201432的博客
03-29 7364
本文主要梳理了2018年CVPR的论文《ISTA-Net》的整体思路，将一些文中的比较跳跃的点表述得更清楚。水平有限，难免出错，恳请指正。
压缩感知（ISTA-Net论文）学习笔记
最新发布
m0_68788727的博客
04-14 646
（在空间各方向上的全微分），是微积分中的一个微分算子，叫Hamilton算子，用来表示梯度和散度，读作Nabla。第一天，主要查找相关视频和笔记，补全预备知识。三角形符号倒过来（▽ ）是。
暑假没人带怎么办？还有我们为你推荐论文 | 本周值得读
Paper weekly
07-06 1300
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3302
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
Optimization And Matlab 最优化的Matlab实现
03-15
比较经典的最优化使用教材 对数学的部分 处理的比较自然 主要算法均有matlab 实现 本压缩包内带有教材相关的程序 课件 和 分章节书籍 以及书籍的matlab 清洗影印版 是不可多得的自学、教学资料
Training_Data
08-03
Jian Zhang and Bernard Ghanem, "ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing", CVPR 2018 论文训练数据集
CVPR 2018 paper
qq_34848537的博客
10-08 1万+
CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 4957
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
深度学习压缩感知（DCS）历史最全资源汇总分享
lqfarmer的博客
10-08 4860
压缩感知（Compressed sensing），也被称为压缩采样(Compressive sampling)，稀疏采样(Sparse sampling)，压缩传感。它作为一个新的采样理论，它通过开发信号的稀疏特性，在远小于Nyquist 采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。压缩感知理论一经提出，就引起学术界和工业界的广泛关注。他在信息论...
"SOM-VAE: INTERPRETABLE DISCRETE REPRESENTATION LEARNING ON TIME SERIES"学习笔记
qq_36609228的博客
04-02 499
深度学习：深度压缩感知-从ISTA到LISTA及其pytorch实现方法
Ten_yn的博客
03-05 1万+
摘要：传统的压缩感知方法在重构时的速度通常比较慢。通过将深度学习和压缩感知结合，可以大大提高重构速度。Learned Iterative Shrinkage and Thresholding Algorithm (LISTA)应该是用深度学习方法求解压缩感知最早的方法，本文简单总结一下LISTA，并给出ISTA和LISTA的具体实现，分别使用Python和Pytorch，并对仿真的稀疏信号进行重构。
（论文翻译）AutoEncoder 聚类算法 - DEPICT
学习笔记
04-11 4679
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization 论文地址1： http://openaccess.thecvf.com/content_iccv_2017/html/Dizaji_Deep_Clustering_via_ICCV_2017_paper....
CNM：用于匹配的可解释复值网络
a609640147的博客
07-29 1798
本文提出了以量子概率来驱动神经网络模型，从而进行语义的表示。具体的，以量子里的基本状态来表示NLP里的基本单元，并逐层向上构建出词及句子等元素的表示。 论文地址: https://arxiv.org/abs/1904.05298 引言 神经网络虽然取得了巨大的成就，但其可解释一直较差。本文根据Lipton的说法，主要解释为事后解释性或透明度，事后解释性通常在模型训练完成之后再进行解释，而透明性...
training interpretable convolutional neural networks by differentiating clas
09-19
训练可解释的卷积神经网络是通过区分不同的类别来实现的。 卷积神经网络（CNN）是一种用于图像识别和分类任务的深度学习模型。然而，CNN的内部工作方式往往被认为是黑盒子，难以解释其决策过程和分类结果。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值