- 博客(6)
- 收藏
- 关注
RSS订阅原创 学习 | BERT模型结构
前言1.Bert使用Transformer的Encoder2.预训练包括masked lamngluage modeling和next sentence classification3.强大且开源1.模型结构，对照pytorch实现1.BertModel继承自BertPreTrainedModel,父类包括不同种类的权重和偏置的初始化函数以及模型加载函数。2.BertModel实施Embedding、Encoder、取Encoder的最后一层进行BertPooler，可选择输出Encoder的最
2021-01-30 22:54:41
1874
1
原创 笔记分享｜机器学习·概率图模型
笔记内容：绪论：频率模型vs贝叶斯模型一、概率图模型二、贝叶斯网络三、马尔可夫随机场四、推断五、变分推断（系列十二）六、MCMC（系列十三）来源是b站某大佬白板推导系列九概率图模型+系列十二变分推断+系列十三MCMC。是一个有强迫症必须不能写歪又努力不跳步又努力让各主题独立的大佬。没有系统看大佬的视频，一般都是看不懂了再找大佬，真的各系列独立！(◐‿◑)比较喜欢手写笔记^ _ ^电子版会有很多限制ಠ_ಠ写纸上我又好怕哪天不见了，就发到这里来喽◉‿◉这个系列真的好长好长，占
2020-12-04 23:10:17
196
1
原创 论文总结 | Improving Relation Extraction by Pre-trained Language Representations
原文链接：https://openreview.net/pdf?id=BJgrxbqp67本文工作：使用基于Transformer的关系抽取模型，依赖于深层语言表征（deep language representation）而非语法特征。首次证明预训练语言表征在关系抽取任务中的重要性。通过ablation studies证明训练语言表征避免过拟合且具有较好的泛化性能；证明与基线方法相比样本效率有显著提高。源码 https://github.com/DFKI-NLP/TRE1.介绍关系抽取
2020-11-03 16:22:39
515
原创 论文总结 | Dialogue-Based Relation Extraction
原文链接：https://www.aclweb.org/anthology/2020.acl-main.444.pdf摘要提出了人工标注的基于关系抽取（RE）数据集对话框，旨在支持对出现在对话中的两个参数之间关系的预测。通过对语料库和传统任务的异同分析，认为说话人相关信息（speaker-relatted information）在任务中起着至关重要的作用。考虑到会话中交流的及时性，我们设计了一种新的度量方法来评估会话环境下RE方法的性能。并研究了几种具有代表性的RE方法的性能。实验结果演示，在
2020-11-01 19:01:17
478
1
原创 论文总结 | Dialogue Relation Extraction with Document-level Heterogeneous Graph Attention Networks
原文地址代码地址1.论文工作1.提出基于注意力的非对称图神经网络用于对活关系抽取。2.设计消息传递机制以获取句子间的长距离信息。2.相关知识2.1 GAT【图结构】之图注意力网络GAT详解2.2 HGNN有多个类型的节点或边的图称为非对称图神经网络。3.模型介绍任务定义：给定一个包含N条语句的对话D={u1,u2,…un}，有一组参数对A={(x1,y1),…}，找出参数对(xi,yi)之间的关系类型。模型如Figure 2所示，模型分为三个阶段：1.语句编码 2.消息传递的3.
2020-10-21 23:28:37
742
原创 从需要半条命的安装pytorch开始
pytorch安装这不是一个安装指南。作为一个每次安装软件/配置环境都需要整条命的仙女来说，这次成功安装确实值得我开始我的CSDN，放鞭炮都不足以表达我的喜悦，虽然相传这已经是改版过的安装流程。另半条命献给稀里糊涂安装好的anaconda，（对，我每次都是稀里糊涂，曾经断断续续搞了3周eclipse/myeclipse+Tomcat，我也不知道咋就好了）在anaconda的基础上安装pyt...
2020-03-31 12:28:41
197
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人