Unsupervised Deep Structured Semantic Models for Commonsense Reasoning

最新推荐文章于 2022-02-15 13:32:28 发布
最新推荐文章于 2022-02-15 13:32:28 发布
阅读量300 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/damuge2/article/details/90676777
版权
本文提出深度结构语义模型（DSSM）用于无监督的常识推理，旨在从原始文本中学习常识知识。DSSM在词汇消歧（WSD）和代词消歧（PDP）任务上表现优秀。模型包括DSSM-1和DSSM-2，分别基于不同的假设进行句子分割和负例生成。实验结果显示，DSSM在PDP和WSC任务上达到当前最优水平。
摘要由CSDN通过智能技术生成

Unsupervised Deep Structured Semantic Models for Commonsense Reasoning

origin

2019 naacl
Shuohang Wang1∗ , Sheng Zhang2, Yelong Shen4, Xiaodong Liu3,
Jingjing Liu3, Jianfeng Gao3, Jing Jiang1
1Singapore Management University,
2Johns Hopkins University,
3Microsoft, 4Tencent AI Lab

motivation

常识推理是自然语言理解里非常关键的问题，在过去的研究中主要采用的是基于手写规则库的方法，由于人工成本巨大，目前缺乏标注数据或者手写规则库，本文期望通过从一些原始的文本中学习常识知识，本文提出深度结构语义模型（DSSM），模型在WSD和PDP（代词消歧）任务上达到SOAT。
　　为了更清楚的了解两个任务，这里举两个例子：
　　在这里插入图片描述

model

这里主要有两个模型　DSSM-1 和DSSM-2
在这里插入图片描述
首先介绍模型１
模型１基于假设：同一个句子中，代词指代的是它的先行词（本文里考虑的是在代词前边的名词）

最低0.47元/天 解锁文章
damuge2
关注
目标检测 cvpr iccv eccv最新进展，包含代码
xiao__run的博客
05-21 4854
object-detection Contents: R-CNN Fast R-CNN Faster R-CNN Light-Head R-CNN Cascade R-CNN SPP-Net YOLO YOLOv2 YOLOv3 SSD DSSD FSSD ESSD MDSSD Pelee R-FCN FPN RetinaNet MegDet DetNet ZSD Based on han...
条件随机场介绍（7）—— An Introduction to Conditional Random Fields
aiao0091的博客
12-02 479
参考文献 [1] S.M.AjiandR.J.McEliece,“Thegeneralizeddistributivelaw,”IEEETrans- actions on Information Theory, vol. 46, no. 2, pp. 325–343, 2000. [2] Y.Altun,I.Tsochantaridis,andT.Hofmann,“HiddenMark...
A unified framework for contrast research of the latent variable
04-25
精华文章、高度浓缩 主元回归 偏最小二乘回归 典型相关回归 降秩回归 潜变量回归 故障检测 校正、预测
Posterior Regularization for Structured Latent Variable Models 阅读笔记
08-26
Posterior Regularization for Structured Latent Variable Models 一文里第二章的阅读笔记，用中文记录下自己的一些认知
新浪微博消歧语料-实体链接
04-23
NLP&CC; 2013数据，用于实体链接的新浪微博消歧语料，包括评测大纲，评测样例，测试数据，评测结果等
深度学习的正则化 Regularization for Deep Learning
11-04
MIT版深度学习第6章 深度学习的正则化 。 正则化的定义为旨在减少学习算法的泛化误差而不是训练误差的修改，训练神经网络中，常常会出现过拟合的问题
交大ADAPT实验室 | 常识知识论文列表
blmoistawinde的博客
11-16 1385
近年来，常识知识(commonsense knowledge)越发成为NLP领域，乃至多模态，跨学科的研究热点。尽管以BERT为代表的的预训练语言模型已经在实体识别、机器翻译、情感分析等任务上取得了亮眼的表现，它们在面对一些人类可以使用常识轻易解决的问题时仍然表现不佳，面对对抗样本时也极为脆弱。似乎这些模型知识只是学到了一些浅层线索和语义，而与人类的知识体系并不相同。因此，将常识知识融入机器学习中就成为了一个充满前景的解决方案。不过，如何抽取常识知识，如何利用常识知识，乃至如何定义“常识本身”依然是有待研究
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
实在智能参与中文自然语言理解评价标准体系(CLUE)阶段性进展回顾
RPAPlus的博客
05-25 2833
「实在智能」简介 「实在智能」（杭州实在智能科技有限公司）是一家人工智能科技公司，聚焦大规模复杂问题的智能决策领域，通过AI+RPA技术打造广泛应用于各行业的 智能软件机器人，即“数字员工”。助力客户提质、降本、增效，从“劳动密集型”向“AI密集型”转型，推动生产模式与业务流程实现颠覆式创新升级。 2018 年，来自纽约大学、华盛顿大学、DeepMind 等机构的研究者创建了一个多任务自然语言理解基准和分析平台——GLUE（General Language Understanding Evalua.
理解机器学习算法的一点心得
DarkScope从这里开始
05-10 2万+
然后用不同的方法来优化这个问题，得到尽量好的结果，给人的感觉就像是一个黑盒，实际使用中需要不断地调参实验，但倘若你能理解好算法，至少能让这个盒子透明一点，这也是机器学习算法确实需要使用者去理解算法的原因，举个例子:传统算法比如一些高效的数据结构，我只需要知道一些接口就可以使用，不需要进行太多的理解，了解传统算法更多的是理解算法的思想，开阔思路，增强能力；而机器学习算法，你即使知道接口，也至少要调一些参数来达到实际使用的目的。
Forth paper:《PIXELVAE: A LATENT VARIABLE MODEL FOR NAT》阅读笔记
Jasminexjf的博客
09-09 1005
相对而言，此篇paper并没有太多去证明该模型背后的数学原理。而是简单的讲解了本文的模型的创新（将pixel CNN 和VAE进行结合），并在不同的数据集上进行experminent. pixel RNN----pixel CNN----gated pixel CNN----pixel VAE----gated pixel VAE 1.abstract 自然图像建模是无人监督学习的一个里程碑...
机器学习 正则化(regularization)
Claroja
04-04 2099
方法 1.丢弃一些特征,手工或者使用一些算法(如PCA) 2.正则化,保留特征,但是减少参数大小. 正则化 高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数θθ\theta的值. 其中λλ\lambda称为正则化参数(regularization parameter),根据惯例,不需要对θ0θ0\theta_0进行惩罚. 正则化线性...
最全中文自然语言处理数据集、平台和工具整理
zenRRan的博客
11-04 3186
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢来自：深度学习与NLP资源整理了文本分类、实体识别&词性标注、搜索匹配、推荐系统、...
神经网络笔记 - Regularization
闲敲棋子落灯花
07-15 709
神经网络的过拟合(Over fitting) 是神经网络学习的年点, 常规的解决方案是增加学习的样本数, 但是训练样本的搜集往往比较困难,而且样本数增加, 学习成本也随之提高. 另一个比较简单的方法来减少过拟合就是Regularization. Regularization 的方法有多种: L2 Regularization 修改代价函数(C)为: C=−1n∑xj[yjlnalj+
DSSMs: Deep Structured Semantic Models
人生而孤独，却不甘寂寞。
02-08 4661
Attention!我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。Github地址：https://github.com/wangqingbaidu/Dr.SureCSDN地址：http://blog.csdn.net/wangqingbaidu个人博客地址：http://www.wangqingbai
Latent Variables的理解
ziliwangmoe的博客
02-14 1万+
加入我们有X，Y两个随机变量，他们的概率分布如下。要直接用一个函数还表示这个分布是比较困难的。 但我们发现这个分布可以分成三个聚类。如果我们给每个聚类编号为。 那么就是简单的高斯函数了。 这里z就是 加入latent variable的意义在于，能够把复杂的问题变成多个简单的问题的和。 另外一种理解是，x是我们观察的值。这些观测值只是表面现象，但真正影响这些现象的是背后的一些late...
ICML 2016精选论文
CSDN 人工智能
11-30 1522
作者简介：洪亮劼，Etsy数据科学主管，前雅虎研究院高级经理。长期从事推荐系统、机器学习和人工智能的研究工作，在国际顶级会议上发表论文20余篇，长期担任多个国际著名会议及期刊的评审委员会成员和审稿人。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》 人工智能和机器学习领域的学术论文汗牛充栋。每年的各大顶级会议、研讨班录用好几千篇论文，即便是亲临现场也...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值